![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
我可能在扯淡
愛運動,愛思考,愛閱讀,愛生活
展开
-
MapReduce多路径输入单文件输出
做Mapreducer练习时碰到一个问题:清洗5天的日志 分析 由于五天日志是五个不同的文件,setInputPaths方法,传入两个不同的路径,最后输出到hadoop文件系统会被后一个覆盖,所以应该传入路径的数组就行了 代码如下(两个文件为例) Path[] paths = {new Path("hdfs://liquanhong1:9000//localhost_access_log.原创 2017-06-30 11:20:37 · 610 阅读 · 0 评论 -
Zookeeper、hadoop集群搭建详细过程
一、概述 学校安排的大数据实训课程刚结束,当时是跟着老师傻瓜式搭建的,遇到问题大多也是他帮忙解决的。然后自己开始学习一个电商项目,里面用到了集群的知识,于是得自己搭建一个集群,便于项目开发。至于他们的作用就不多少了,直接开始吧 二、安装前环境准备 集群规划:(安装集群之前,先规划下集群,考虑配置,ip,内存硬盘,cpu) 主机名 IP 运行的进程 liquanhong1 192.1原创 2017-07-17 22:18:34 · 5104 阅读 · 2 评论