![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Mr.Lee jack
这个作者很懒,什么都没留下…
展开
-
hadoop 集群与搭建步骤
1.集群搭建预处理(主机配置) 准备至少2台机器 ip hostname 172.19.0.1 hserver1 172.18.2.32 hserver2 192.43.2.31 hserver3 a). 你可以改变你准备机器的hostname,这个步骤不是必须的,...原创 2019-01-29 18:05:21 · 269 阅读 · 0 评论 -
hadoop的mapreducer处理数据(Python)
1.hadoop客户端环境 1.直接找有hadoop服务的机器,这样你访问的就是本机的hadoop集群,也就不用在配置了 2.如果你要远程其他hadoop集群,那么你需要配置相关文件,配置方式如同配置hadoop集群一样 hadoop集群搭建详见:https://blog.csdn.net/xzpdxz/article/details/86692631 修改相应的配置 注意确保你的环境有j...原创 2019-03-20 17:33:12 · 670 阅读 · 1 评论 -
mapreduce的Python操作方法
1.mrjob简介 mrjob是一个编写mapreduce任务Python开源框架,它既可以模拟hadoop的mapreduce,也可以之间在hadoop上运行 2.安装mrjob [root@i ~]# yum -y install epel-release [root@i ~]# yum -y install python-pip (如果你没有安装pip) [root@...原创 2019-03-20 19:19:44 · 1877 阅读 · 0 评论