![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
暮色_年华
这个作者很懒,什么都没留下…
展开
-
【错误集锦】: connect to host slave1 port 22: No route to xxx
错误原创 2022-06-01 10:40:16 · 1939 阅读 · 1 评论 -
【hadoop】汽车销售数据统计分析项目(部分)
来源:《hadoop大数据开发实战》实验一:统计乘用车辆和商用车辆的数量和销售额分布设计思路:首先,写一个Mapper来映射输出所有乘用车辆(feiyingyun)和商用车辆(yingyun)的记录。然后,写一个reduce统计出乘用车辆和商用车辆各自的数量,写一个map的映射集合中,其中key是车辆类型,value为车辆类型的数量。同时,定义一个成员变量,统计乘用车辆和商用车辆的总和。最后,重写reduce中的cleanup方法,在其中计算出乘用车辆和商用车辆各自的销售额分布然原创 2022-05-23 20:31:54 · 6875 阅读 · 10 评论 -
【hadoop】Eclipse连接hadoop&读取hadoop系统中文件
1、把hadoop安装包解压到c盘2、下载hadoop-eclipse.rar,把hadoop.dll和winutile.exe放到hadoop的bin文件夹中3、修改环境变量把 hadoop-eclipse-plugin-2.7.3.jar包拷在安装路径的plugins的文件中,然后重启eclipse4、新建map/reduce项目host和port与master保持一致读取系统文件:public class URLCat ...原创 2022-05-16 15:26:44 · 893 阅读 · 0 评论 -
【hadoop】hadoop 安装和集群配置
已经准备好:master,slave,slave1三个服务器;master上安装了jdk;master免密登录到slave和slave1上。win下ssh把hadoop安装包传输到linux上解压缩:tar -zxvf xxx配置环境变量:(1)vim hadoop.3.1.4/etc/hadoop/hadoop-env.sh(2)vim etc/hadoop/yarn-env.sh(3)vim etc/hadoop/core-site.xml<confi..原创 2022-05-15 23:43:39 · 293 阅读 · 0 评论 -
【hadoop】linux3个节点配置ssh免密登录
master节点操作:进入~/.ssh,查看目录,有id_rsa和id_rsa.pub分别代表私钥和公钥复制公钥到.ssh文件,重命名命名为authorized_keys修改authorized_keys的权限在slave和slave1上执行ssh操作,这一步是为了生成.ssh目录把公钥文件分别传输到slave和slave1上检验:修改slave和slave1上 公钥文件的权限测试:在master上登录sl...原创 2022-05-12 09:17:08 · 438 阅读 · 0 评论 -
【hadoop】centos7安装和配置
【linux】redhat笔记:红帽企业Linux入门与安装_暮色_年华的博客-CSDN博客使用vmware安装centos7,设置用户名HadoopMaterreboot重启,登录配置网络IP:(1)修改ifcfg-ens33文件i插入,esc+:wq保存(2)重启网卡:service network restartping外网( 百度),ctrl+c停止设置时间同步:ntpdate time.nist.go...原创 2022-05-11 23:51:37 · 624 阅读 · 0 评论