大数据
JopenC
(⁎˃ᆺ˂)
展开
-
Spark实验2更新版(自用)
在master节点上执行如下命令:/opt/hadoop/sbin/start-all.sh //启动hadoop集群/opt/spark/sbin/start-all.sh //启动spark集群1.在master的/opt目录下新建file1.txt数据文件直接复制file1.txt:1,1768,50,1552,1218,600,2113,2239,788,2424,310...原创 2019-10-25 00:22:22 · 428 阅读 · 0 评论 -
RDD编程初级实践
请根据给定的实验数据Data01.txt,在spark-shell中通过编程来计算以下内容首先使用xftp将Data01.txt(某大学计算机系的成绩数据集)上传至master节点的/opt目录下所有节点使用hadoop用户登录su hadoop //切换hadoop用户在master节点上分别启动hadoop集群和spark集群/opt/hadoop/sbin/start-all.s...原创 2019-10-17 22:24:17 · 6392 阅读 · 0 评论 -
CentOS7搭建hadoop完全分布式集群
集群节点信息主节点 master子节点 slave1 slave2 slave3集群搭建步骤:进入并查看网卡文件,修改ifcfg-enp0s3和ifcfg-enp0s8网卡文件中的“ONBOOT=no”为“ONBOOT=yes”,设置网卡随虚拟机启动而开启,否则无法连接外网,修改后输入命令“reboot”重启虚拟机输入命令“yum update”更新一下系统输入命令“yum in...原创 2019-04-20 19:02:46 · 1262 阅读 · 1 评论 -
MapReduce编程入门-日志访问次数统计任务
搭建IDE开发环境,创建MapReduce工程MemberCount1.将插件hadoop-eclipse-plugin-2.6.4.jar复制到eclipse的dropins目录下2.菜单选择Windowns-Perspective-Open Perspective-Other,在对话框中选中MapReduce,点击原创 2019-05-14 14:16:53 · 6446 阅读 · 1 评论