hadoop
文章平均质量分 73
浏贻笑
这个作者很懒,什么都没留下…
展开
-
日志采样数据处理
题目:(1)任务描述当前日志采样格式为a , b , c , db , b , f , ea , a , c , f日志采样数据存放在本地路径/root/experiment/datas/下,请你用Java语言编写MapReduce,计算第四列每个元素出现的个数。任务一:开启Hadoop集群并将数据上传至/root/experiment/data目录下(15 分)任务二:编写Mapper类程序(25 分)任务三:编写Reducer类程序(25 分)任务四:编写Job类程序(25 分)任原创 2021-10-16 18:42:39 · 227 阅读 · 0 评论 -
1.1在VMware上安装centos
在centos6.9 64位操作系统上安装与配置Hadoop 3.1,因此采用VMWare 虚拟机软件,必须要求版本在10.0及其以上,因为只有10.0及其以上版本支持64位操作系统。安装方法如下:方法1:采用操作系统镜像文件进行全新安装。方法2:也可以导入安装好的centos文件。下面将讲解采用方法2进行centos 6.9的安装。1.在打开centos文件之前,首先进行centos配置文件的修改,该配置文件的后缀为.vmx, 如下图所示:2.在虚拟机中打开centos文件,方法是,找到后缀为原创 2021-06-16 11:07:53 · 66 阅读 · 0 评论 -
1.3 配置hadoop安装环境
1.3.1 网络连通性配置步骤1:将三台虚拟机的网络连接方式设置为nat模式,默认情况下为nat模式步骤2:修改三台虚拟机的mac地址和IP地址,设置要求,如下表1所示:注意:1.每个虚拟机的IP地址和mac地址都不能相同2.网关地址必须要与vmnet8虚拟网卡的网关地址一致,否则不能访问internet。测试:测试三台虚拟机是否可以访问外网,如果可以,说明配置成功!,截图如下所示:步骤3:主机名和域名设置先修改三台虚拟机的主机名,采用命令:vim /ect/sysconfig/ne原创 2021-06-16 12:29:18 · 194 阅读 · 0 评论 -
1.4 安装hadoop和配置hadoop
1.4.1 Notepad++连接linuxnotepad++下载:notepad++hadoop压缩包下载:hadoop压缩包步骤1: 上传压缩包到/export/software目录上传hadoop到/export/softwares路径下去,需安装一个软件,命令如下:yum -y install lrzsz使用命令:rz -E上传cd /export/software解压:tar xzvf hadoop-3.1.1.tar.gz -C …/servers步骤2:采用notepa原创 2021-06-16 13:47:19 · 134 阅读 · 0 评论 -
1.2 设置宿主与虚拟机的网络连接方式
1.2.1 修改虚拟机mac地址和IP地址配置修改mac地址:步骤1:打开网卡图形界面配置,如下图所示:2.在linux系统中,命令为:vim /etc/udev/rules.d/70-persistent-net.rules,如下图所示:然后采用 esc : wq 保存退出修改IP地址:在linux系统中,命令为:vim /etc/sysconfig/network-scripts/ifcfg-eth0,如下图所示:保存退出后,重启系统,采用命令init 0 。1.2.2 仅主机模原创 2021-06-16 12:03:29 · 341 阅读 · 0 评论