大数据
文章平均质量分 60
不饿同学
这个作者很懒,什么都没留下…
展开
-
安装elasticsearch-8.5.2
安装elasticsearch-8.5.2原创 2022-11-27 23:56:03 · 1271 阅读 · 1 评论 -
大数据相关优化(4个方向)
大数据相关优化(4个方向)1.数仓模型优化(7个方向)1.1 模型架构1.2利用中间表1.3拆表1.4合表1.5分区1.6拉链表1.7数据格式2.SQL计算任务优化(4个方向)2.1减少数据输入(3)2.2防止数据倾斜(2)2.3小文件优化(5种)2.4并行执行优化3.作业调度优化(3个方面)3.1定时时间提前3.2任务隔离3.3减少依赖层级4.同步任务优化(3个方面)4.1核心任务优先4.2网络优化4.3资源优化......原创 2022-06-10 21:12:43 · 1575 阅读 · 0 评论 -
安装phoenix-5.1.2
1.下载网址:https://phoenix.apache.org/download.html根据自己的hbase版本选择对应版本的phoenix,我的hbase版本:2.4.122.安装2.1 解压(base) [root@node001 bao]# tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/src(base) [root@node001 bao]# cd /opt/src/(base) [root@node001 src]#原创 2022-05-30 21:58:10 · 503 阅读 · 0 评论 -
安装HBase-2.4.12 (hadoop3.3.1)
1. 下载https://www.apache.org/dyn/closer.lua/hbase/2.4.12/hbase-2.4.12-bin.tar.gz2. 解压下载的文件,并切换到新创建的目录。(base) [root@node001 bao]# tar -zxvf hbase-2.4.12-bin.tar.gz -C ../src(base) [root@node001 bao]# cd ../src/hbase-2.4.12/conf3. 配置JAVA_HOME(base) [r原创 2022-05-23 22:57:26 · 1359 阅读 · 3 评论 -
解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1
1. 方案看hbase官网这两个版本应该是兼容的,但是实际上有包冲突,解决方案是用hadoop包替换hbase的包。hbase 2.4.12hadoop 3.3.12.报错2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer----(base) [root@node001 logs]# hbase shellLoadError: load error: irb/completion -- java.l原创 2022-05-23 22:45:45 · 3973 阅读 · 1 评论 -
解决root下The authenticity of host ‘hostname‘ can‘t be established&Host key verification failed
1.启动hbase时报错The authenticity of host ‘node002.djin.com (10.168.1.26)’ can’t be established.2. 修改/etc/ssh/ssh_config奇怪了,ssh都通的,hadoop,zk等都能正常启动,百度一番可能是root的问题,修改/etc/ssh/ssh_config,末尾添加如下两行(base) [root@node001 ssh]# vim /etc/ssh/ssh_configStrictHostKe原创 2022-05-19 21:21:22 · 784 阅读 · 0 评论 -
解决启动zookeeper报错:Starting zookeeper ... FAILED TO START
1. 问题启动zookeeper时报如下错误Starting zookeeper … FAILED TO START2. 查看日志,错误原因是myid缺失发现错误原因:myid file is missing3. 为啥myid不在了不知道了,重建就好了3.1 查看dataDir路径3.2 在该路径下创建myid,每个节点myid中写入不同值注意: 值不能为0,否则启动不了,报错 -My id 0 not in the peer list错误示范:正确示范:(base) [ro原创 2022-05-19 20:14:59 · 6854 阅读 · 0 评论 -
集群安装测试Zookeeper-3.6.3
1.前置准备1.1 基础环境前置条件:前置准备参考节点: node001,node002,node0031.2 下载Zookeeper-3.6.3 并解压到/opt/src目录wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gztar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/src/cd /opt/srcmv ap原创 2022-02-14 15:56:44 · 831 阅读 · 0 评论 -
解决启动kafka只能启动2个
1. 解决修改3个broker中的kafka-logs/meta.properties中的cluster.id保持一致2.过程不知做了什么操作,当我启动kafka集群时,总是只能启动两个节点1.最开始怀疑是server.properties或zookeeper.properties中配置有问题,检查一遍是没问题的2.只能百度一下,看到可能是log.dir(我的默认/tmp/kafka-logs)目录下的meta.properties中的broker.id冲突,检查之后也没有异常3.但发现了cl原创 2022-01-19 15:06:41 · 2613 阅读 · 0 评论 -
Python json.dumps 中文显示异常问题
json.dumps()参数添加`ensure_ascii=False`,解决中文显示异常问题```pythonmsg = json.dumps(json_msg,ensure_ascii=False).encode()原创 2022-01-12 18:55:27 · 1222 阅读 · 0 评论 -
jmeter添加kafka支持并验证
jmeter添加kafka支持并验证1.安装Plugins Manager下载官网:https://jmeter-plugins.org/install/Install/放到lib/ext目录2.安装kafka相关插件重启jmeter 后点击option —plugins manager “插件管理”选择插件(需要有网络),安装Kafka插件原创 2022-01-08 14:38:03 · 1822 阅读 · 1 评论 -
安装测试kafka-3.0.0
1.下载 wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz --no-check-certificate2.解压tar -zxvf kafka_2.12-3.0.0.tgz -C ../src2.修改配置2.1 server.propertiescd kafka/configvim server.properties#先暂时只修改,其他保持默认zookeeper.connect=node001:2181,nod原创 2022-01-06 22:39:41 · 2034 阅读 · 3 评论 -
PyCharm,idea通过插件database连接带Kerberos的hive
1.目的PyCharm通过插件database连接带Kerberos的hive2.异常我windows已经配置好kerberos,可以kinit通,其其他工具以及可以正常访问,但是通过PyCharm,或者idea等工具报如下错误:Can’t get Kerberos realm.3.问题解决原文连接:https://stackoverflow.com/questions/34969204/cant-get-kerberos-realm-on-yarn-cluster方法:复制C:\Prog原创 2021-12-29 14:40:07 · 1911 阅读 · 0 评论 -
pyhive 安装测试及问题解决
pyhive 安装及问题解决1.排除安装包是否冲突由于我安装了anaconda,所以conda下载的包和pip下载的包可能导致冲突,使用conda list查看包,我这里为了干净,将conda可能重复的全部卸载了conda uninstall saslconda uninstall thrift_saslconda uninstall thriftconda uninstall pyhive2.安装工具包由于我是在windows环境下的conda环境,不能直接pip install sas原创 2021-12-16 20:28:15 · 2731 阅读 · 0 评论 -
安装spark3.2
安装spark3.21 .下载地址:https://spark.apache.org/downloads.html2. 解压到安装目录解压:重命名:3.安装scala地址:https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz4. 配置环境变量立即生效:source ~/.bashrc4.配置配置spark-env.shcp $SPARK_HOME/conf/spark-env.sh.template原创 2021-12-14 02:41:54 · 1141 阅读 · 0 评论 -
安装apache-Hadoop3.3.1
1. 前置条件在安装Hadoop之前,确保已经做好如下前置准备:前置准备参考安装好3台redhat7.6虚拟机配置hostname配置静态IP配置hosts关闭防火墙禁用selinux配置ssh免密ntp时钟同步安装java同步工具pssh2. 安装hadoop2.1 下载hadoop3.3.1到/opt/bao下:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar原创 2021-09-22 00:44:54 · 903 阅读 · 0 评论 -
Ambari 2.7.5安装Flink1.13.2
这是一个学习文档看看这个文档好不好用public static void main{}[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-010gW4zF-1619286463422)(https://cdn.nlark.com/yuque/__mermaid_v3/c0bfd0479dcf29d7cc961774486a0da6.svg#lake_card_v2=eyJ0eXBlIjoibWVybWFpZCIsImNvZGUiOiJjbGFzc0RpYWdyYW1cbi原创 2021-09-01 03:03:59 · 4741 阅读 · 6 评论 -
安装Ambari 2.7.5 + HDP3.1.5(附安装包)
这是一个学习文档看看这个文档好不好用public static void main{}[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1h9otV8t-1619284681699)(https://cdn.nlark.com/yuque/__mermaid_v3/c0bfd0479dcf29d7cc961774486a0da6.svg#lake_card_v2=eyJ0eXBlIjoibWVybWFpZCIsImNvZGUiOiJjbGFzc0RpYWdyYW1cbi原创 2021-08-30 01:49:05 · 16231 阅读 · 21 评论 -
Kerberos高可用
1.备节点安装Kerberos服务2. 修改主节点配置3. 备节点配置4. 节点数据同步至备节点5. 节点数据同步至备节点6. 配置主节点crontab任务定时同步数据原创 2020-12-27 19:25:35 · 729 阅读 · 0 评论 -
在CDH5.16.1中启用Kerberos
文章目录1.KDC服务安装及配置2. CDH集群启用Kerberos卸载Kerberos1.KDC服务安装及配置本文档中将KDC服务安装在Cloudera Manager Server所在服务器上(KDC服务可根据自己需要安装在其他服务器)在Cloudera Manager服务器上安装KDC服务[root@cdh001 ~]# yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation修改/etc/krb5.原创 2020-12-27 16:13:26 · 409 阅读 · 0 评论 -
MariaDB的主从备份
文章目录1.MariaDB和MySQL的主从复制原理2.Master-slave服务器配置3.构建主从复制4.同步master历史数据5. 启动主从同步6. 停止并删除主从同步原创 2020-12-25 18:13:44 · 800 阅读 · 0 评论 -
CDH集群安装
目录1.概述2.JDK安装2.安装MariaDB3.Cloudera Manager安装4.CDH安装5.集群设置安装向导5. Kudu安装原创 2020-12-25 11:20:53 · 1031 阅读 · 0 评论 -
大数据集群安装前置准备
1. 概述2.操作系统安装3.配置静态IP4.配置主机名5.关闭防火墙及selinux6.配置ssh互信7.安装pssh工具(非必须)8. 配置ntp时钟同步9.设置swap10. 关闭透明大页面11.安装http服务12.配置操作系统本地repo原创 2020-12-24 16:22:04 · 1504 阅读 · 0 评论