![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 78
BLADCS
在这里写一写笔记和心情也是很好的
展开
-
es修改IK分词器源码 mysql热词动态更新(报错解决x3)
最近在公司遇到的一个问题,给elasticsearch配置ik热部署mysql词库。我是参照下面这个博客来做的https://www.cnblogs.com/xiaoxiaoliu/p/11218109.html但是按照这个做就会报下面这个错误[2021-08-11T11:27:53,515][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [DESKTOP-0PKSCKK] fatal error in thread [elasticsear原创 2021-08-11 12:24:14 · 1294 阅读 · 7 评论 -
Standalone模式的spark-shell报错Call From node01/172.20.5.199 to node02:9000 failed on connection:拒绝连接
spark输入spark-shell --master spark://node01:7077报链接错误[root@node01 spark-2.4.5]# spark-shell --master spark://node01:707720/03/23 09:12:56 WARN NativeCodeLoader: Unable to load native-hadoop library f...原创 2020-03-25 22:13:11 · 1621 阅读 · 0 评论 -
spark之RDD算子
RDDspark core主要针对于RDD,RDD(Resilient Distributed Dataset)即弹性分布式数据集。RDD是spark的基石,是实现spark数据处理的核心抽象。是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可并行计算的集合。RDD是基于工作集的工作模式,更多的是面向工作流。RDD支持两种类型的操作:转换(从现有操作创建新的数据集)和动...原创 2020-04-02 10:55:22 · 264 阅读 · 0 评论