Hadoop配置启动

其实这不是首次触电hadoop,早在大学毕设中就已经采用hadoop开发了，当时开发的是一个hadoop为基础的搜索引擎，包括爬虫，倒排索引、查询都基于hadoop的分布式平台实现。但是当时还不懂什么叫集群，更不要说分布式了。现在工作已经一年了，对集群开发，分布式，大数据等知识都有了一定的理解和认识，所以现在准备重新拿起hadoop的书，进行一下二次学习，从中学习一些更深的知识，希望以后可以从事hadoop的开发甚至可以采用hadoop进行二次开发，下面先对基本的配置运行进行一下最基础的总结。

一、配置文件

首先要先编辑hadoop启动的配置文件

1.编辑conf/hadoop-env.sh

设置java路径，还可以配置python等语言;

2.编辑conf目录下得core-site.xml hdfs-site.xml mapred-site.xml

a.core-site.xml

指定namenode的ip地址和端口;

投入使用后localhost要是真实地址;

b.hdfs-site.xml

dfs.data.dir是数据存储的地方，要事先创建好；

dfs.replication控制最多备份多少份；

c.mapred-site.xml

设置他的job管理；

配置ssh,生成秘钥,使到可以免秘钥登陆

ssh-keygen -t rsa
cp id_dsa.pub authorized_keys

记得开启mac的远程登录

格式化HDFS

启动服务

jps查看启动的所有java进程 包括如下:

停止服务

到这里hadoop的基本配置就完成了，由于机器数量限制所以只是采用了单台的伪分布式模式。以后还会对其他hadoop的知识进行总结。