Hadoop
qq_26496877
这个作者很懒,什么都没留下…
展开
-
hadoop 环境搭建
超详细单机版搭建hadoop环境图文解析前言: 年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终 于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程: 一、安装Linux操作系统二、在Ubuntu下创建hadoop...转载 2015-08-18 22:43:22 · 345 阅读 · 0 评论 -
install hadoop dev plugin in eclipse
一、安装Eclipse 下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse 4.3.1版本下载地址:http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件 1、下载hadoop插件 下载地址:http://pan.baidu.com/s/1mg转载 2015-08-19 23:03:39 · 546 阅读 · 0 评论 -
Hadoop-HDFS 文件读写流程
1.HDFS写流程:客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本如图:写详细步骤:1、根namenode通信请求上传文件,namenode检查目标文件是否已存在,父...转载 2018-08-24 13:57:10 · 785 阅读 · 0 评论 -
window下搭建hadoop
1.下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common2.解压hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3”文件夹路径 xxx/xxxx/hadoop-2.7.3复制hadoop-2.7.3文件夹到 d盘 或者 e盘 的根目录 (在这里我安装到了E盘)3.原版的Hadoop不支持Wind...转载 2019-07-24 14:35:22 · 326 阅读 · 0 评论