hadoop
文章平均质量分 53
xiaokang06
这个作者很懒,什么都没留下…
展开
-
hadoop个人笔记,仅供自己参考
hadoop可以看做成一个软件,就是运行在linux系统上。对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put *.txt (集群下指定的摸个目录原创 2013-12-13 19:35:32 · 835 阅读 · 0 评论 -
hadoop自带例子wordcount的具体运行步骤
1.在linux系统中,所在目录“/home/kcm”下创建一个文件夹input[ubuntu@701~]$ mkdir input2.在文件夹input中创建两个文本文件file1.txt和file2.txt,file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。[ubuntu@701转载 2014-03-17 21:14:22 · 12606 阅读 · 2 评论 -
[转载]hadoop 常用命令
转自:http://blog.sciencenet.cn/blog-604578-740259.html转载 2014-06-30 23:31:39 · 477 阅读 · 0 评论 -
图解mapreduce原理和执行过程
转自:http://blog.csdn.net/michael_kong_nju/article/details/23826979说明:下面的图来自南京大学计算机系黄宜华老师开设的mapreduce课程的课件,这里稍作整理和 总结。本文旨在对接触了mapreduce之后,但是对mapreduce的工作流程仍不是很清楚的人员,当然包括博主自己,希望与大家一起学习。mapr转载 2017-03-24 18:19:33 · 4376 阅读 · 0 评论 -
安装Hadoop及Spark(Ubuntu 16.04)
转自:http://www.cnblogs.com/bovenson/p/5760856.html安装Hadoop及Spark(Ubuntu 16.04)安装JDK下载jdk(以jdk-8u91-linux-x64.tar.gz为例)新建文件夹sudo mkdir /usr/lib/jvm解压下载的jdk文件并移动到新建的文件夹下转载 2017-04-22 13:15:32 · 407 阅读 · 0 评论