spark
文章平均质量分 63
uniquewdl
易是平凡,难亦平凡
展开
-
记一次sparkStreaming无法推送(接收)kafka推送数据问题
spark整合kafka无法推送信息的解决方案。主要原因:环境版本问题原创 2022-05-14 10:47:59 · 629 阅读 · 0 评论 -
安装elasticsearch集群
认识elasticsearch最近在做一个关于spark整合Elasticsearch的项目,闲下在自己机器上安装了一下elasticsearch集群。关于elasticserarch,这里简单做一下介绍:它 是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它的底层是基于Lucene实现的一个搜索引擎。关于Lucene我在四年前写过几篇文章,大家可以看一下。Luncen介绍Luncen分词器的使用安装环境: JDK1.7.55+elasticsearch-2.3.1.t原创 2021-11-13 22:48:35 · 2121 阅读 · 0 评论 -
关于Spark error: value write is not a member of org.apache.spark.sql.DataFrame的分析与总结
最近自己在spark集群云顶DataFrames向HDFS集群写入文件时候的遇到了下边错误信息的问题error: value write is not a member of org.apache.spark.sql.DataFrame其实通过上述错误信息描述并不能第一时间来进行确定问题所在之处,通过仔细检查代码,发现并无不妥之处,参考网上了说的一些说的主要几个场景,包括隐式转换位置错误,case class定义位置错误等等,关于说引入隐式转换的位置顺序出问题这个思路时,当时也有一点点怀疑,因..原创 2021-10-23 23:11:50 · 3719 阅读 · 0 评论 -
解决scala项目打包时出现Error: bad option -make:transitive的问题
错误信息Error: bad option -make:transitive最近scala项目编译打包时候总是出现上述问题,目前最快捷的解决方案就是删除.idea目录下的scala_compiler.xml文件中的 但是这种方案治标不治本,每次加载后后仍会重新出现该问题,这里我们可以检查,在pom文件中是否存在下边的配置内容: <configuration> <args>原创 2021-08-14 22:56:23 · 446 阅读 · 0 评论