- 博客(3)
- 收藏
- 关注
RSS订阅原创 集群搭建---常见错误及知识点总结1
在使用集群，测试官方的wordcount时，报出以下错误； 根据报错提示 找到hadoop安装目录下hadoop/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property&g...
2021-04-05 09:28:03
176
转载 Nifi简介及核心概念整理
Nifi简介及核心概念整理 ) https://www.cnblogs.com/ronnieyuan/p/11935871.html
2021-03-12 11:00:55
303
原创 RDD-DF-DS 三者之间的转换图
这里写自定义目录标题 RDD-DF-DS 三者之间的转换图 RDD-DF-DS 这三者之间可以进行互相转换，其中转换关系如下图所示： 举例如下： 类型之间的转换总结 RDD、DataFrame、Dataset 三者有许多共性，有各自适用的场景常常需要在三者之间转换 DataFrame/Dataset 转RDD： 这个转换很简单 val rdd1=testDF.rdd val rdd2=testDS.rdd RDD 转DataFrame： import spark.implicits._ val testDF
2021-03-08 16:18:38
394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人