![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 87
claem
22届港硕统计学努力转码 学习爪哇 大数据的个人记录~
展开
-
Spark学习案例实操 尚硅谷 电商用户访问数据案例
需要用到zip算子,把相同位置的两个rdd连在一起,即rdd1=(1,2,3,4),rdd2=(2,3,4),那么rdd1.init.zip(rdd2)=((1,2),(2,3),(3,4)),这就是分子,那有了分子,我们需要分母,那分母是什么呢?然后做数据筛选 把不是这10个品类的数据行去掉,最后在筛选后的数据里进行(品类,用户)双变量的分组,得到用户出现的次数,然后改变数据结构从((品类,用户),sum次数)->(品类,(用户,sum次数)),然后进行sortby排序(降序),得到最终结果。原创 2024-05-15 22:44:06 · 873 阅读 · 0 评论 -
Spark学习笔记之RDD 1
首先,要明白对于Scala而言有自己的数据类型以及如何定义变量,那么在Spark里,我们处理数据集的时候,就需要一种既能存储数据,又能适配很多函数,可以快速对数据进行操作的一种数据结构,这个时候RDD就诞生了。RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark 中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark 中,对数据的所有操作不外乎创建RDD、转化已有RDD 以及调用RDD 操作进行求值。原创 2024-05-15 21:44:31 · 809 阅读 · 0 评论 -
Mac宿主机无法ping通docker容器
后经搜索相关问题发现可以从ip下手 结果被告知mac里查看不了docker0桥段对应的网络 因为根本就没显示这个,同时 docker 指定 --net=host命令仅在Linux环境有效 血亏。最后用sudo brew services restart命令重启docker-connection该即可,现在我们就可以在宿主机中使用容器IP、容器端口来访问该容器了。这里如果报错有关brew命令的问题可以使用以下命令修复 本人报错了修复成功!在docker-connector服务的配置文件添加该子网,如下所示。原创 2024-04-24 21:10:18 · 1145 阅读 · 1 评论 -
Mac 在docker容器内配置hadoop集群
同时,在代码中,我们也可以设置Hadoop的配置信息。第一步--------------------------------------------------------------------------------------------------第四步-------------------------配置hadoop----------------------------------------------------------ps:centos8自带了但是7没有带。原创 2024-04-28 14:58:16 · 1127 阅读 · 0 评论 -
Mac docker配置hadoop集群遇到的一些问题
续接上篇Mac下docker容器配置hadoop集群,虽然成功启动集群了,web网页也可以查看了,但是跟着网课发现第一个小测试就爆出好几个毛病,刚开始尝试上传文件到hdfs远程服务器上还是没啥问题滴,下面就开始遇到问题了,在这里记录一下问题和解决方法~PS:需要注意如果是重新run的容器相当于新容器了,对于网络这一块的配置需要重新再配一遍“宿主机ping容器”,“容器之间互ping”,并且新run的容器ip也会改变哈,这个小细节需要注意,具体操作见我前两篇文章。,这里直接执行会得到一大串类似环境变量。原创 2024-04-29 15:55:02 · 929 阅读 · 3 评论 -
Hadoop 的一些思维导图 方便回顾 (2)
这里合并传给reduceTask之后还需要再排序一遍,保证reducer处理的数据是有序的,reducer里的reduce方法每次处理相同key的数据。当每个mapTask完事的时候,对每个单一mapTask归并后输出的整体数据,会按每个分区再进行合并,即从mapTask1(区1,区2),mapTask2(区1,区2),mapTask3(区1,区2)...mapTaskn(区1,区2),变成区1(mapTask1,mapTask2,...mapTaskn),按区合并之后将数据传给reduceTask。原创 2024-05-07 11:24:18 · 785 阅读 · 0 评论