三生有幸-CSDN博客

原创 spark算子

Transformations类算子Transformations含义map返回一个新的分布式数据集，该数据集是通过将源的每个元素传递给函数func形成的。filter返回一个新的数据集，该数据集是通过选择源中func返回true的那些元素形成的。flatMap与map相似，但是每个输入项都可以映射到0个或多个输出项（因此func应该返回Seq而不是单个项）...

2020-02-28 21:54:14 134

原创 MapReduce编程案例(三)

MapReduce编程案例(三)键值对如何传入自定义对象类型实现WritableComparable接口实现Writable接口二者的区别如果对象类型作为key传入,MapReduce底层会对键进行排序,此时需要告诉MapReduce需要进行排序的是什么如果对象类型作为value传入,则只需实现Wriable接口案例: 求上下行流量1363157985066 ...

2019-12-09 09:10:03 243

原创 MapReduce 编程案例(二)

1 任务分析历年最高气温数据格式:0043011990999991950051512004+68750+023550FM12+038299999V0203201N00671220001CN9999999N9+00221+999999999992 编写Mapper类package weather;import GroupingComparatorOrder.GroupingCompa...

2019-12-01 22:09:21 198

原创 MapReduce编程案例(一)

Mapreduce编程案例(一)1 了解Mapreduce原理(借阅)深入剖析MapReduce架构及原理(一)https://blog.csdn.net/WYpersist/article/details/79783872深入剖析MapReduce架构及原理(二)https://blog.csdn.net/WYpersist/article/details/797838732 编写...

2019-11-28 20:31:46 354

原创 Hadoop集群环境搭建

1 安装Ubuntu18.04服务器下载地址:https://ubuntu.com/download/server2 配置Ubuntu服务器(1) 网络配置vim/etc/netplan/50-cloud-init.yaml networkethernets: ens33: dhcp4: no addresses: [192.168.30....

2019-11-28 13:24:03 209

原创 python　网络编程之TCP半双工聊天小练习

１.创建TCP服务器端from socket import *　　＃导入相应的模块HOST = ''　　　＃主机名POST = 21567　　＃端口BUFSIZ = 1024　　＃设置缓冲区大小ADDR = (HOST , POST)tcpSerSock = socket(AF_INET ,SOCK_STREAM)tcpSerSock.bind(ADDR) #将地址绑定到套接...

2018-10-25 13:15:10 226