不饿同学-CSDN博客

原创安装elasticsearch-8.5.2

安装elasticsearch-8.5.2

2022-11-27 23:56:03 1331 1

为进一步加速推动我国数据智能转型进程，推动“十四五”期间数据智能产业交流与合作，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）主办的2022大数据产业峰会于6月28日在京召开。在峰会主论坛上，中国信通院云大所所长何宝宏发布了《2022大数据十大关键词》。以下为演讲实录（1）【数据资源化】，即数据从计算机语言到成为可被人类识别的信息（2）【数据治理】，即将散乱的、庞杂的数据进行归类、整理、管理（3）【数据资产化】，即将数据与货币进行对

2022-07-10 23:56:49 892

原创大数据相关优化(4个方向)

大数据相关优化(4个方向)1.数仓模型优化(7个方向)1.1 模型架构1.2利用中间表1.3拆表1.4合表1.5分区1.6拉链表1.7数据格式2.SQL计算任务优化(4个方向)2.1减少数据输入(3)2.2防止数据倾斜(2)2.3小文件优化(5种)2.4并行执行优化3.作业调度优化(3个方面)3.1定时时间提前3.2任务隔离3.3减少依赖层级4.同步任务优化(3个方面)4.1核心任务优先4.2网络优化4.3资源优化......

2022-06-10 21:12:43 1885

原创安装phoenix-5.1.2

1.下载网址：https://phoenix.apache.org/download.html根据自己的hbase版本选择对应版本的phoenix，我的hbase版本：2.4.122.安装2.1 解压(base) [root@node001 bao]# tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/src(base) [root@node001 bao]# cd /opt/src/(base) [root@node001 src]#

2022-05-30 21:58:10 529

原创安装HBase-2.4.12 (hadoop3.3.1)

1. 下载https://www.apache.org/dyn/closer.lua/hbase/2.4.12/hbase-2.4.12-bin.tar.gz2. 解压下载的文件，并切换到新创建的目录。(base) [root@node001 bao]# tar -zxvf hbase-2.4.12-bin.tar.gz -C ../src(base) [root@node001 bao]# cd ../src/hbase-2.4.12/conf3. 配置JAVA_HOME(base) [r

2022-05-23 22:57:26 1400 3

原创解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1

1. 方案看hbase官网这两个版本应该是兼容的，但是实际上有包冲突，解决方案是用hadoop包替换hbase的包。hbase 2.4.12hadoop 3.3.12.报错2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer----(base) [root@node001 logs]# hbase shellLoadError: load error: irb/completion -- java.l

2022-05-23 22:45:45 4039 1

原创解决root下The authenticity of host ‘hostname‘ can‘t be established&Host key verification failed

1.启动hbase时报错The authenticity of host ‘node002.djin.com (10.168.1.26)’ can’t be established.2. 修改/etc/ssh/ssh_config奇怪了，ssh都通的，hadoop，zk等都能正常启动，百度一番可能是root的问题，修改/etc/ssh/ssh_config，末尾添加如下两行(base) [root@node001 ssh]# vim /etc/ssh/ssh_configStrictHostKe

2022-05-19 21:21:22 802

原创解决启动zookeeper报错：Starting zookeeper ... FAILED TO START

1. 问题启动zookeeper时报如下错误Starting zookeeper … FAILED TO START2. 查看日志，错误原因是myid缺失发现错误原因：myid file is missing3. 为啥myid不在了不知道了，重建就好了3.1 查看dataDir路径3.2 在该路径下创建myid，每个节点myid中写入不同值注意：值不能为0，否则启动不了，报错 -My id 0 not in the peer list错误示范：正确示范：(base) [ro

2022-05-19 20:14:59 6912

转载 hive调优（转）

hive调优，直接贴原作者连接（侵删）https://developer.aliyun.com/article/59635?spm=a2c6h.13813017.content3.3.5b085c66PpQtIW

2022-03-24 19:05:30 93

原创 redhat7.6升级MariaDB

1.前言由于在做flink cdc 练习时，使用的是flink-1.13.2及flink cdc-2.1.1，要求的mysql是5.7及以上，而我用的MariaDB还是之前直接yum安装的5.5版本，所以要升级2.备份参考：参考博客# 备份数据库，如果升级顺利是不要实施备份还原的mysqldump -u root -p --all-databases > alldb.sql# 如果想保留自己的my.cof配置，则备份一下这个文件cp /etc/my.cnf /etc/my.cnf.bak

2022-03-07 03:55:11 190

原创解决python读取配置文件报错\ufeff

在使用python configparser 读取config.ini配置文件import configparser# 实例化configParser对象config = configparser.ConfigParser()# -read读取ini文件config.read(r'config/config.ini',encoding='utf8')# -sections得到所有的section，并以列表形式返回print('sections: ',config.sections()).

2022-03-05 14:07:03 1950

原创集群安装测试Zookeeper-3.6.3

1.前置准备1.1 基础环境前置条件：前置准备参考节点： node001,node002,node0031.2 下载Zookeeper-3.6.3 并解压到/opt/src目录wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gztar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/src/cd /opt/srcmv ap

2022-02-14 15:56:44 852

原创解决启动kafka只能启动2个

1. 解决修改3个broker中的kafka-logs/meta.properties中的cluster.id保持一致2.过程不知做了什么操作，当我启动kafka集群时，总是只能启动两个节点1.最开始怀疑是server.properties或zookeeper.properties中配置有问题，检查一遍是没问题的2.只能百度一下，看到可能是log.dir(我的默认/tmp/kafka-logs)目录下的meta.properties中的broker.id冲突，检查之后也没有异常3.但发现了cl

2022-01-19 15:06:41 2647

原创 Python json.dumps 中文显示异常问题

json.dumps()参数添加`ensure_ascii=False`，解决中文显示异常问题```pythonmsg = json.dumps(json_msg,ensure_ascii=False).encode()

2022-01-12 18:55:27 1254

原创 jmeter添加kafka支持并验证

jmeter添加kafka支持并验证1.安装Plugins Manager下载官网：https://jmeter-plugins.org/install/Install/放到lib/ext目录2.安装kafka相关插件重启jmeter 后点击option —plugins manager “插件管理”选择插件（需要有网络）,安装Kafka插件

2022-01-08 14:38:03 1857 1

原创安装测试kafka-3.0.0

1.下载 wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz --no-check-certificate2.解压tar -zxvf kafka_2.12-3.0.0.tgz -C ../src2.修改配置2.1 server.propertiescd kafka/configvim server.properties#先暂时只修改，其他保持默认zookeeper.connect=node001:2181,nod

2022-01-06 22:39:41 2044 3

原创 PyCharm,idea通过插件database连接带Kerberos的hive

1.目的PyCharm通过插件database连接带Kerberos的hive2.异常我windows已经配置好kerberos,可以kinit通,其其他工具以及可以正常访问，但是通过PyCharm,或者idea等工具报如下错误：Can’t get Kerberos realm.3.问题解决原文连接：https://stackoverflow.com/questions/34969204/cant-get-kerberos-realm-on-yarn-cluster方法：复制‪C:\Prog

2021-12-29 14:40:07 1956

原创 pyhive 安装测试及问题解决

pyhive 安装及问题解决1.排除安装包是否冲突由于我安装了anaconda，所以conda下载的包和pip下载的包可能导致冲突，使用conda list查看包，我这里为了干净，将conda可能重复的全部卸载了conda uninstall saslconda uninstall thrift_saslconda uninstall thriftconda uninstall pyhive2.安装工具包由于我是在windows环境下的conda环境，不能直接pip install sas

2021-12-16 20:28:15 2739

原创 jupyter 设置中文

jupyter 设置中文1. 下载中文包pip install jupyterlab-language-pack-zh-CN2. 选择中文-完成

2021-12-14 20:36:17 29997 8

原创安装spark3.2

安装spark3.21 .下载地址：https://spark.apache.org/downloads.html2. 解压到安装目录解压：重命名：3.安装scala地址：https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz4. 配置环境变量立即生效：source ~/.bashrc4.配置配置spark-env.shcp $SPARK_HOME/conf/spark-env.sh.template

2021-12-14 02:41:54 1152

原创 2.端到端的机器学习项目

机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版

2021-12-03 01:07:09 878

原创安装apache-Hadoop3.3.1

1. 前置条件在安装Hadoop之前，确保已经做好如下前置准备：前置准备参考安装好3台redhat7.6虚拟机配置hostname配置静态IP配置hosts关闭防火墙禁用selinux配置ssh免密ntp时钟同步安装java同步工具pssh2. 安装hadoop2.1 下载hadoop3.3.1到/opt/bao下：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar

2021-09-22 00:44:54 930

原创 Ambari 2.7.5安装Flink1.13.2

这是一个学习文档看看这个文档好不好用public static void main{}[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-010gW4zF-1619286463422)(https://cdn.nlark.com/yuque/__mermaid_v3/c0bfd0479dcf29d7cc961774486a0da6.svg#lake_card_v2=eyJ0eXBlIjoibWVybWFpZCIsImNvZGUiOiJjbGFzc0RpYWdyYW1cbi

2021-09-01 03:03:59 5053 6

原创安装Ambari 2.7.5 + HDP3.1.5（附安装包）

这是一个学习文档看看这个文档好不好用public static void main{}[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1h9otV8t-1619284681699)(https://cdn.nlark.com/yuque/__mermaid_v3/c0bfd0479dcf29d7cc961774486a0da6.svg#lake_card_v2=eyJ0eXBlIjoibWVybWFpZCIsImNvZGUiOiJjbGFzc0RpYWdyYW1cbi

2021-08-30 01:49:05 16781 21

韦不二的博客

原创安装elasticsearch-8.5.2

原创 2022大数据十大关键词-记录