spark
文章平均质量分 85
我是A_lin呀
勤于思,敏于行,善于言。
展开
-
spark统一内存管理UnifiedMemoryManager
spark堆内内存模型分为两种:静态内存管理StaticMemoryManager和统一内存管理UnifiedMemoryManager。从1.6.0版本开始,Spark内存管理模型发生了变化。旧的内存管理模型由StaticMemoryManager类实现,现在称为“legacy(遗留)”。默认情况下,“Legacy”模式被禁用,这意味着在Spark 1.5.x和1.6.0上运行相同的代码会导致不同的行为。为了兼容,您可以使用spark.memory.useLegacyMode参数启用“旧”内存模型。转载 2020-06-03 16:21:15 · 397 阅读 · 0 评论 -
spark streaming 更新广播变量的值
使用场景:在实时计算作业中,往往需要动态改变一些配置,如:实时日志ETL服务,需要在日志的格式、字段发生变化时保证正常解析; 实时NLP服务,需要及时识别新添加的领域词与停用词; 实时风控服务,需要根据业务情况调整触发警告的规则;通过spark的广播变量机制可以做到,配置的实时更新 ;不需要配置每次变化都去手动修改代码,然后重启作业。做到代码的灵活。那么该如何更新广播变量?我们知道广播变量是只读的,driver缓存一个只读的变量在每台worker上面,而不是每个任务保存一份拷贝。广播出原创 2020-05-28 16:21:14 · 971 阅读 · 1 评论 -
spark streaming 启动报错 Exception in thread main java lang AbstractMethodError
Exception in thread "main" java.lang.AbstractMethodError at org.apache.spark.util.ListenerBus$class.$init$(ListenerBus.scala:34) at org.apache.spark.streaming.scheduler.StreamingListenerBus.<init>(StreamingListenerBus.scala:30)...原创 2020-05-28 13:50:22 · 534 阅读 · 0 评论 -
Spark RDD依赖关系
LineageRDD之间存在依赖关系,称为Lineage。便于容错。RDD依赖关系查看rdd.toDebugString 展示RDD的多级依赖关系,返回string。(2) MapPartitionsRDD[7] at mapValues at CityADTOP3.scala:37 [] | ShuffledRDD[5] at groupByKey at CityADTOP3...原创 2020-04-19 14:43:52 · 185 阅读 · 0 评论 -
Spark Driver与Executor
Driver创建sparkContext对象,初始化程序,分发计算给Executor。所有RDD算子的计算功能全部由Executor来执行。如果计算部分有对象,该对象需要序列化,才能在网络中传输。变量在driver中声明,算子中的计算逻辑需要分发给executor来执行。...原创 2020-04-19 14:37:28 · 366 阅读 · 0 评论 -
spark转换算子和行动算子的区别
转换算子和行动算子的区别:转换算子返回的是一个新的RDD。行动算子返回的不是RDD,可能是map,list,string等,也可以没有返回。 转换算子相当于逻辑的封装。行动算子调用sc.runjob执行作业,是对逻辑计算产生结果。 sortBy算子 既有转换又有行动的功能,产生一个job,返回一个新的RDD。...原创 2020-04-19 14:34:15 · 3762 阅读 · 0 评论 -
spark on yarn 的一些问题、hbase关闭问题
spark on yarn 报错:When running with master 'yarn-client' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.在spark-env.sh中 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop Neit...原创 2019-02-24 22:35:35 · 507 阅读 · 0 评论 -
spark historyServer
作者:明翼(XGogo)出处:http://www.cnblogs.com/seaspring/本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。不能用于商业用户,若商业使用请联系:-------------QQ:107463366微信:shinelife-------------*********...转载 2019-03-22 23:13:46 · 874 阅读 · 0 评论