hsg77的专栏

spark2.3.1读取hbase运行报错的解决办法 1.报错java.lang.IllegalStateException: unread block data 解决办法： spark.driver.extraClassPath spark.executor.extraClassPath 要赋值/usr/cwgis/app/spark/jars/lib/* 为应用程序生成的依赖库 sparkCo...

spark MLlib机器学习教程 来源地址： https://blog.csdn.net/qq_30498935/article/details/82352348 机器学习介绍 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识...

Spark性能调优：RDD的复用以及RDD持久化 来源地址：https://blog.csdn.net/leen0304/article/details/78711305 避免创建重复的RDD 通常来说，开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需...

spark 累加器java用法 private static long GetFeatureCountByRDD(gwLayerClass tLayer, Geometry tGeo) throws Exception { GeoWaveRDD gwRDD=getGeoWaveRDDFilterGeometryIntersects(tLayer.gw...

Spark 键值对RDD操作 键值对的RDD操作与基本RDD操作一样，只是操作的元素由基本类型改为二元组。 概述 键值对RDD是Spark操作中最常用的RDD，它是很多程序的构成要素，因为他们提供了并行操作各个键或跨界点重新进行数据分组的操作接口。 创建 Spark中有许多中创建键值对RDD的方式，其中包括 1文件读取时直接返回键值对RDD 2通过List创建键值对RDD 在spark-shell...

基于Spark的土地利用矢量数据空间叠加分析方法 http://www.doc88.com/p-0911513952881.html

spark中cogroup用法 cogroup:对两个RDD中的KV元素，每个RDD中相同key中的元素分别聚合成一个集合。与reduceByKey不同的是针对两个RDD中相同的key的元素进行合并。 [root@node111 ~]# spark-shell 28 一月 10:20:56 WARN [util.NativeCodeLoader] - Unable to load native-h...

调整Apache Spark应用程序的Java垃圾收集 王道远黄洁 由王道远和黄杰 发表于公司博客 2015年5月28日 这是来自英特尔SSG STO大数据技术小组的朋友的客座文章。 来源地址： https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html 加入我们...

执行spark报错EOFException Kryo和SerializedLambda问题的解决办法 EOFException Kryo问题解决办法： 发布到spark的worker工作机的项目依赖库中删除底版本的kryo文件，如下： 在执行环境中删除kryo-2.21.jar文件和保留kryo-shaded-3.0.3.jar文件，执行就OK了。 经过查看在kryo-shaded-3.0.3.j...

spark-shell启动报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中 删除相关的scala开头的jar文件即可启动spark-shell [root@node111 ~]# runCmd.sh "rm /usr/cwgis/app/spark/jars/lib/scala*.jar" all ...