hadoop
兮小熙
这个作者很懒,什么都没留下…
展开
-
Hadoop平台执行Wordcount程序
之前搭建好了hadoop的伪分布式环境,今天跑一下hadoop自带的wordCount程序1.在root目录下新建一个文本文档命名为test ,输入一段英文到此文本中 2.将文本文件上传到 hdfs 文件系统中的 input 目录下,打开命令行,输入如下命令hadoop fs -copyFromLocal /root/test input(注:如果 dfs 中不包含 input 目录的话就原创 2017-02-22 16:44:50 · 1067 阅读 · 0 评论 -
Hadoop MapReduce原理
hadoop核心类(五个)1.hdfs :数据存储 Namenode:org.apache.hadoop.hdfs.server.namendoe.NameNode DataNode:org.apache.hadoop.hdfs.server.datanode.DataNode SecondaryNameNode:org.apache.hadoop.hdfs.server.namendoe.S原创 2017-05-20 15:33:59 · 349 阅读 · 0 评论 -
Hadoop集群模式下运行Mapreduce任务
写了一个Hadoop权威指南中MapReduce处理天气数据的Demo一.MapReduce执行过程map前 map后 mapreduce流程图二.编写Mapper和Reducer类MaxTemperatureMapper MaxTemperatureReducer//mapperimport java.io.IOException;import org.apache.hadoop.io.原创 2017-04-19 17:18:21 · 4523 阅读 · 0 评论 -
hadoop2.x配置
hadoop2.x配置1.独立模式没有运行的守护程序,所有程序运行在一个JVM中。适合开发期间运行MapReduce程序,源于他的易于测试和调试。将Hadoop2.x压缩包解压后,配置好环境变量,此时便是独立模式输入jps指令,发现没有守护进程root@ubuntu:/mnt/hgfs/Host2VMmare# jps6518 Jps输入Hadoop fs -ls / 指令 查看Hadoop文件原创 2017-04-10 17:47:08 · 755 阅读 · 0 评论 -
Hadoop伪分布式环境搭建
hadoop的伪分布式安装原创 2017-02-16 16:21:49 · 311 阅读 · 0 评论 -
HDFS命令行接口
对HDFS的操作方式 hadoop fs XXXhadoop fs -ls / 查看hdfs根目录下的内容 hadoop fs -lsr / 递归查看hdfs的根目录下的内容 hadoop fs -mkdir /d1 在hdfs创建文件夹d1 hadoop fs -put (linux source) (hdfs destination) 把数据从linux中上传到hdfs的特定路径下原创 2017-03-02 21:53:57 · 1052 阅读 · 0 评论 -
HDFS文件读取与写入剖析
一、HDFS读过程1.1 HDFS API 读文件Configuration conf = new Configuration(); 1FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.open(file); String da转载 2017-06-25 14:26:47 · 514 阅读 · 0 评论