- 博客(4)
- 收藏
- 关注
原创 RDD的转化之value和双value类型
一、map(func)与flatmap(func)的区别map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD。举一个简单的例子:输入一个 1 到 5 的集合,让他们返回每个值1 to 5的值map() val sc: SparkContext = new SparkContext(conf) val ListRDD: RDD[Int] = sc.parallelize(1 to 5)
2020-09-29 09:27:51
213
原创 完全分布式集群搭建
虚拟机准备 在上一篇里,我已经详细的讲解了虚拟机的准备工作。 你需要准备三个虚拟机,首先先创建一台JDK、Hadoop都安装完成的虚拟机,剩下的两台只需要修改主机名、修改ip即可.编写集群分发脚本xsync配置一台完全的虚拟机就很耗时间,更别说配置三台,所以这里会利用scp安全拷贝和 rsync 远程同步工具。rsync和scp区别:用rsync做文件的复制要比scp的速度快,rs...
2020-04-22 17:18:47
579
原创 Hadoop运行环境搭建
克隆虚拟机修改克隆虚拟机的静态IP在终端打开,并修改克隆后虚拟机的IP[root@hadoop100 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules 修改IP地址[root@hadoop100 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0这里需要注...
2020-04-19 22:39:24
1079
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人