hadoop安装

1文件new

用户登录，输入主机ip

点击确定

输入用户名

输入密码

Su:切换登录用户

Sudo：让普通用户执行root下才能执行的管理功能

临时修改主机名：

1	hostname 改后的主机名

永久修改主机名：

1 2	vim /etc/sysconfig/network HOSTNAME=修改后主机名

将hadoop用户加入到/etc/sudoers中

Sudo vim /etc/sysconfig/network;

Exit/logout退出登录重新连接改好了》

修改sudo vi /etc/hosts

Hosts存储的是集群中所有的主机名和ip的对应地址

2关闭防火墙

Sudo servicesiptables stop/当前关闭

Sudo chkconfigiptables off/下次不会自动启动防火墙

上传安装配置JDK

1.窗口-》传输新建文件，弹框选否。

命令Put e:/yanyi2016/hadoop/LinuxSoftware/jdk-8u101-linux-x64.tar.gz

等待传输完成

新建一个目录放文件

Mkdir app

把jdk解压到app

tar -zxvf jdk-8u101-linux-x64.tar.gz -Capp/

注：.tar.gz问常见的linux下的压缩文件，一般是安装包，解压编译安装。

ZXVF为解压，ZCVF为压缩。"tarzxvf压缩文件-C目标路径

大写的C

2.设置环境变量

环境变量所在的文件/etc/profile

所以：sudo vi /etc/profile

在最后一行新建

Export JAVA_HOME=/home/hadoop/app/jdk1.8.0_101;

JDK路径可以复制一个窗口cd到jdk文件夹里再PWD就能获得，复制下来就好

Export PATH=$PATH:$JAVA_HOME/bin;

重新开启profile服务

Service /etc/profile

验证

Java –version

Echo可以查看变量如echo JAVA_HOME

安装hadoop

上传解压文件

修改5个配置文件

第一个：hadoop-env.sh

           vim hadoop-env.sh

           #第27行

           exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

          

第二个：core-site.xml

 

           <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

           <property>

                    <name>fs.defaultFS</name>

                    <value>hdfs://yun-11:9000</value>

           </property>

           <!-- 指定hadoop运行时产生文件的存储目录-->

           <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/home/hadoop/hadoop-2.4.1/tmp</value>

    </property>

          

第三个：hdfs-site.xml  hdfs-default.xml  (3)

           <!-- 指定HDFS副本的数量 -->

           <property>

                    <name>dfs.replication</name>

                    <value>1</value>

    </property>

          

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

           mv mapred-site.xml.templatemapred-site.xml

           vim mapred-site.xml

           <!-- 指定mr运行在yarn上 -->

           <property>

                    <name>mapreduce.framework.name</name>

                    <value>yarn</value>

    </property>

          

第五个：yarn-site.xml

           <!-- 指定YARN的老大（ResourceManager）的地址 -->

           <property>

                    <name>yarn.resourcemanager.hostname</name>

                    <value>yun-11</value>

    </property>

           <!-- reducer获取数据的方式-->

    <property>

                    <name>yarn.nodemanager.aux-services</name>

                    <value>mapreduce_shuffle</value>

     </property>

            

3.2将hadoop添加到环境变量

sudo vi /etc/proflie

           添加

           exportHADOOP_HOME=/home/hadoop/hadoop-2.4.1

           exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后刷新

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

           hdfs namenode -format (或者 hadoopnamenode -format)

           怎样才算成功呢？ 要看到这句话：

           INFO common.Storage: Storagedirectory /home/hadoop/app/hadoop-2.4.1/temp/dfs/name has been successfullyformatted.

          

3.4启动hadoop

           先启动HDFS

           sbin/start-dfs.sh

          

           再启动YARN

           sbin/start-yarn.sh

          

3.5验证是否启动成功

           使用jps命令验证

           27408 NameNode

           28218 Jps

           27643 SecondaryNameNode

           28066 NodeManager

           27803 ResourceManager

           27512 DataNode

           http://192.168.1.101:50070 （HDFS管理界面）

           http://192.168.1.101:8088 （MR管理界面）

          

4.配置ssh免登陆

#生成ssh免登陆密钥

#进入到我的home目录

cd ~/.ssh

 

ssh-keygen -t rsa （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

ssh-copy-id localhost