MapReduce
MapReduce
张俊杰1994
一个大龄的码农.目前是Java+Python开发,业余时间研究减肥健身养生,后期可能会去做减肥健身博主.
展开
-
Hadoop支持LZO压缩配置*
hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译环境准备maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)gcc-c++zlib-develautoconfautomakelibtool通过yum安装即可,yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool下载wget htt原创 2020-10-23 18:15:31 · 346 阅读 · 0 评论 -
Hadoop执行WordCount官方demo案例 *
简述在/hadoop-2.7.2/share/hadoop/mapreduce里面是官方提供的一些示例.进入到/hadoop-2.7.2/share/hadoop/mapreduce目录下面新建个hello 文件随便往里面写点东西,然后用回车换行多写几行东西,用来方便测试执行命令准备测试数据[root@zjj102 demo]# vim hello skldjlkasjdzhjjzjjsada准备执行wordcount程序# 在HDFS上面创建wc目录[root@zjj1原创 2020-10-16 18:18:39 · 1486 阅读 · 0 评论 -
MapReduce既是编程模型又是计算框架[转自-李智慧-从零开始学大数据]
转载李智慧 的 从零开始学大数据 专栏正文在Hadoop问世之前,其实已经有了分布式计算,只是那个时候的分布式计算都是专用的系统,只能专门处理某一类计算,比如进行大规模数据的排序。很显然,这样的系统无法复用到其他的大数据计算场景,每一种应用都需要开发与维护专门的系统。而Hadoop MapReduce的出现,使得大数据计算通用编程成为可能。我们只要遵循MapReduce编程模型编写业务处理逻辑代码,就可以运行在Hadoop分布式集群上,无需关心分布式计算是如何完成的。也就是说,我们只需要关心业务逻辑,原创 2020-10-13 18:06:20 · 424 阅读 · 0 评论