![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
James的小迷弟
这个作者很懒,什么都没留下…
展开
-
spark数据结构
原创 2020-10-16 20:48:37 · 185 阅读 · 0 评论 -
RDD的转化之value和双value类型
一、map(func)与flatmap(func)的区别map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD。举一个简单的例子:输入一个 1 到 5 的集合,让他们返回每个值1 to 5的值map() val sc: SparkContext = new SparkContext(conf) val ListRDD: RDD[Int] = sc.parallelize(1 to 5)原创 2020-09-29 09:27:51 · 213 阅读 · 0 评论 -
Hadoop运行环境搭建
克隆虚拟机修改克隆虚拟机的静态IP在终端打开,并修改克隆后虚拟机的IP[root@hadoop100 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules 修改IP地址[root@hadoop100 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0这里需要注...原创 2020-04-19 22:39:24 · 1075 阅读 · 1 评论