张俊杰 的博客

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译 环境准备 maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-devel autoconf automake libtool 通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool 下载 wget htt

简述 在/hadoop-2.7.2/share/hadoop/mapreduce里面是官方提供的一些示例. 进入到/hadoop-2.7.2/share/hadoop/mapreduce目录下面 新建个hello 文件随便往里面写点东西,然后用回车换行多写几行东西,用来方便测试 执行命令 准备测试数据 [root@zjj102 demo]# vim hello skldjlkasjd zhjj zjj sada 准备执行wordcount程序 # 在HDFS上面创建wc目录 [root@zjj1

转载 李智慧 的 从零开始学大数据 专栏 正文 在Hadoop问世之前，其实已经有了分布式计算，只是那个时候的分布式计算都是专用的系统，只能专门处理某一类计算，比如进行大规模数据的排序。很显然，这样的系统无法复用到其他的大数据计算场景，每一种应用都需要开发与维护专门的系统。而Hadoop MapReduce的出现，使得大数据计算通用编程成为可能。我们只要遵循MapReduce编程模型编写业务处理逻辑代码，就可以运行在Hadoop分布式集群上，无需关心分布式计算是如何完成的。也就是说，我们只需要关心业务逻辑，