hadoop
文章平均质量分 87
DaHuangXiao
这个作者很懒,什么都没留下…
展开
-
使用hadoop-streaming初体验mapreduce
接下来记录一下如何使用hadoop-streaming运行一个简单的mapreducehadoop-streaminghadoop-streaming和spark-streaming不是一个意思简单的说hadooop-streaming是一个框架,可以让任何语言编写的mr程序都能在hadoop上运行,只需要遵循标准输入stdin输出stdout即可。因此我们可以用python写一个mr过程来体验一...原创 2018-05-15 21:56:43 · 2533 阅读 · 3 评论 -
初识系列之Hadoop HA
Hadoop HA 是hadoop2.x才提出来的在这里简单的介绍一下hadoop ha是什么介绍之前需要知道hadoop 1.x的基本架构,通过对比来认识hadoop ha目录•HadoopHA->HDFSHA•HDFS基本结构 •Namenode •元数据结构 •内存镜像 •磁盘镜像Fsimage •操...原创 2018-06-02 22:28:39 · 355 阅读 · 0 评论 -
hadoop集群
参考http://www.cnblogs.com/shishanyuan/p/4701656.html里面搭建的过程已经很详细了,但是还有几个比较关键的地方作者没有强调本人因此纠结了好久才把问题解决总结如下1.静态IP不是很懂,一开始都PING不通。后来索性直接使用桥接模式,然后能ping通之后,再查看ip,将其作为hadoop123的ip,设置。2.配置好环境变量后记得source3.hadoo...转载 2018-05-04 18:19:40 · 111 阅读 · 1 评论 -
hadoop相关配置与安装
hadoop安装配置参考https://blog.csdn.net/zhxdick/article/details/51942405需要注意的是里面提到的路径都应该与自己的符合,应先去测试一下路径是否正确。(以及注意版本名是否正确)补充:其中关于建立伪集群这部分需要将图中提到的中文那一行删掉,然后就不会报错了若没装JAVA需安装,其环境变量配置参考https://jingyan.baidu.com...转载 2018-04-28 08:38:00 · 121 阅读 · 0 评论