Spark
文章平均质量分 61
Spark
NoMissU
知道了!=能做到,共勉!
展开
-
Spark算子
Transformation算子RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结果给Driver的动作时,这些转换才会真正运行。这种设计让Spark更加有效率地运行。列举部分算子:转换含义map(func)返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成filter(func)返回一个新的RDD,该RDD由经过func函数计算后返回值为t原创 2022-01-11 09:37:49 · 169 阅读 · 0 评论 -
Cloudera Manager拓展SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel
一、准备工作Centos6.5的系统Cloudera Manager 版本5.6Spark2.3依赖的jdk1.8网上的资料提供的下载地址下载不了,只能基于原有的SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel修改从头制作可以参考如下参考地址1二、开始适配1.parcel包制作包名规则:以SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel为例,第一个-前是包名,最后一个-后是原创 2021-11-26 15:35:44 · 1853 阅读 · 0 评论 -
Spark从不同数据库读取数据常见问题
MySQL空值问题在url上加上?characterEncoding=utf-8ADB类型转换在url上加上?stringtype=unspecified原创 2021-09-07 17:56:14 · 96 阅读 · 0 评论