- 博客(4)
- 收藏
- 关注
RSS订阅转载 大数据组件默认端口号
大数据组件默认端口号 Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口 Zookeeper: 2181 ： 客户端连接zoo...
2019-10-30 21:32:17
691
转载 Spark map 和 flatMap 区别
Spark map 和 flatMap 区别 map: 对RDD每个元素转换 flatMap: 对RDD每个元素转换, 然后再扁平化（即将所有对象合并为一个对象） Example: data 有两行数据： a,b,c 1,2,3 scala>data.map(line1 => line1.split(",")).collect() res11: Array[Array[String]]...
2019-10-27 16:10:32
114
原创 **(centos虚拟机向yarn提交wordcount任务卡在running)**
(centos虚拟机向yarn提交wordcount任务卡在running) 可能的原因是安装了太多东西，可以尝把上传的到虚拟机的安装包删除掉。 我删除之后，多了几百兆的空间，可以正常向yarn提交任务。 ...
2019-09-06 22:43:42
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人