大数据数据分析
宝蓓
努力变强的IT男
展开
-
【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
1、首先在电脑上安装配置Hadoop环境具体的环境配置可以参考我上传的文档: Hadoop安装手册 Hadoop-2.5.2:http://download.csdn.net/download/m0_37885286/9859619 ,里面的内容十分详尽,按照里面的内容配置,简单高效,里面所需要用到的centOS6.5的镜像在网上搜一个,我用的是:CentOS-6.5-x86_64-bi原创 2017-06-03 15:41:04 · 1834 阅读 · 0 评论 -
【最详细、亲测】Hadoop Stream的最全总结
【最详细、亲测】Hadoop Stream总结本人在做项目的过程中,想利用Hadoop Stream对现有的python代码进行并行化处理,加速代码运行速度。推荐一个比较好的例子:用python写MapReduce函数——以WordCount为例首先介绍一下Hadoop Stream的优点:让任何语言编写的map,reduce程序能够在Hadoop集群上运行;map/reduce程序只...原创 2018-07-11 16:35:31 · 4513 阅读 · 0 评论