hadoop
wonder_wonder
为什么不呢
展开
-
使用python编写mapreduce程序
Hadoop Streaming 是 Hadoop 发行版附带的实用程序。它可用于执行大数据分析程序。Hadoop 流可以使用 Python、Java、PHP、Scala、Perl、UNIX 等语言执行。该实用程序允许我们使用任何可执行文件或脚本作为映射器和/或化简器来创建和运行 Map/Reduce 作业。转载 2023-03-30 15:40:41 · 175 阅读 · 0 评论 -
“\t”在hdfs中不能识别问题
在测试mapreduce计算平均成绩时,本地三个txt文件(每行为姓名\t成绩),使用vim下Tab键输入制表符上传到hdfs后进行mapreduce计算结果出错,原因可能是hdfs下没有识别制表符(因为我的map使用keyValueTextInputFormat的输入文件格式,如果使用TextInputFormat可能是其他原因),解决方法是在vim命令模式下输入:set list 然后在进入插...原创 2018-11-07 16:55:58 · 532 阅读 · 1 评论 -
hadoop2.x推荐配置(译文)
看到一篇写hadoop2.x版本配置的讲解文章,感觉很不错,在此翻译一下。原文连接:https://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/作为Hadoop2.x的一部分,Yarn拥有MapReduce(hadoop1.x)中的资源管理功能并对齐进行打包,以便新引擎可以使用它们。这也简化了MapReduce,...翻译 2019-04-16 10:10:22 · 372 阅读 · 0 评论