![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 61
Spark
NoMissU
知道了!=能做到,共勉!
展开
-
Spark算子
Transformation算子 RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结果给Driver的动作时,这些转换才会真正运行。这种设计让Spark更加有效率地运行。 列举部分算子: 转换 含义 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为t原创 2022-01-11 09:37:49 · 164 阅读 · 0 评论 -
Cloudera Manager拓展SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel
一、准备工作 Centos6.5的系统 Cloudera Manager 版本5.6 Spark2.3依赖的jdk1.8 网上的资料提供的下载地址下载不了,只能基于原有的SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel修改 从头制作可以参考如下 参考地址1 二、开始适配 1.parcel包制作 包名规则: 以SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel为例,第一个-前是包名,最后一个-后是原创 2021-11-26 15:35:44 · 1842 阅读 · 0 评论 -
Spark从不同数据库读取数据常见问题
MySQL空值问题 在url上加上 ?characterEncoding=utf-8 ADB类型转换 在url上加上 ?stringtype=unspecified原创 2021-09-07 17:56:14 · 94 阅读 · 0 评论