![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
薇酱
=。=
展开
-
Hadoop入门+HDFS命令
Hadoop的核心是HDFS和MapReduce 1.HDFS的特点是,适合于 1)大数据 2)硬件廉价 3)高容错性 4)文件分块存储 5)流式数据访问,不支持动态改变文件内容 它的关键元素有: Block:一般大小为64M, NameNode:保存整个文件系统的目录信息,分块信息,文件信息,由唯一一台主机专门保存,在Hadoop2*版本中支持activity-stan转载 2015-05-25 15:41:25 · 1741 阅读 · 0 评论 -
使用Python实现Hadoop MapReduce程序遇到的问题解决办法
1.jar包名不一致 利用python和c等语言在hadoop上写MapReduce程序,需要用到streaming组件,我在网上找了相关的文档,基本上都是同一篇写wordcount的。我发现这篇文章是08年写的,环境和我现在用的并不一样。所用的命令 bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar -mapper /h原创 2015-10-13 17:21:47 · 1095 阅读 · 0 评论 -
用hadoop streaming写map-reduce程序,可使用python,shell等脚本语言
我一般都是用python,shell这些脚本语言来编写程序,由于工作原因,要写mr程序,但是在网上找了找,全部都只有wordcount的代码,不是特别容易理解,就想写一篇文章来讲讲使用时的注意事项。 submit.sh: . ./conf/hadoop.conf function impression_hadoop(){ ${HADOOP} jar ${HADOOP_STRE...原创 2019-05-14 11:02:02 · 538 阅读 · 0 评论