大数据入门第一天之hadoop的部署安装

https://blog.csdn.net/z215367701/article/details/80148717
详情看这个博客

HDFS的操作环境配置

免密码登录Linux系统的步骤

免密原理

第一步： 通过该命令获得密钥

ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa

第二步：复制文件

cat id_dsa.pub >> authorized_keys

同时查看两个文件

cat id_dsa.pub  authorized_keys

第三步：免密登录

ssh root@localhost

退出

exit

jdk的配置

先卸载open-jdk

查看linux上是否存在已经安装好的JDK javac
java –version

rpm -qa | grep java
查看本机上所有已经安装成功的软件,只查看和java相关的

删除linux自带jdk（注意每个Linux默认安装的jdk不一样你要先查好你自己的jdk版本）
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.i686
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.i686

开始安装：
mkdir /usr/local/src/java

FileZilla_3.7.3_win32 上传jdk tar包

cd /usr/local/src/java
将jdk压缩包进行解压
tar -zxvf jdk-7u71-linux-i586.tar.gz

安装依赖包:
yum install glibc.i686
(需要联网)

配置环境变量：
① vim /etc/profile

② 在末尾行添加

#set java environment
JAVA_HOME=/usr/local/src/java/jdk1.7.0_71
PATH=$JAVA_HOME/bin:$PATH
export PATH=$PATH:$JAVA_HOME/bin

保存退出
③source /etc/profile 使更改的配置立即生效
④java -version 查看JDK版本信息，如果显示出1.7.0证明成功

部署HDFS的环境

解压hadoop文件

先将Hadoop上传到root用户目录下
然后解压Hadoop
tar xf hadoop-2.6.5.tar.gz
然后在opt （专门存放外来文件的 ）下创建文件
mkdir /opt/sxt
然后把解压好的Hadoop剪切过去
mv hadoop-2.6.5 /opt/sxt/
然后配置环境变量 非常重要
vi /etc/profile

#set java environment
export JAVA_HOME=/usr/local/src/java/jdk1.7.0_71
export HADOOP_HOME=/opt/yrq/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成后 记得
source /etc/profile 或者 . /etc/profile

java的二次配置

在下面的这些文件中
vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh
里面的JAVA_HOME全部替换成绝对路径
/usr/local/src/java/jdk1.7.0_71

配置完成后 记得
source /etc/profile

配置core-site.xml 核心配置NameNode

vi core-site.xml

其中Daniel是主机名

<!--配置NameNode的服务地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Daniel:9000</value>
    </property>
<!--扩展hdfsd的路径-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop_yrq/local</value>
    </property>

配置hdfs-site.xml 基础配置SecondaryNode

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--NameNode备份服务-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Daniel:50090</value>
    </property>
</configuration>
         

配置slaves文件

vi slaves
//里面存放的是DataNode
Daniel

格式化hdfs 非常重要

hdfs namenode -format (只能格式化一次，再次启动集群不要执行）

启动集群

start-dfs.sh

角色进程查看：jps

hadoop安装成功的标志

在浏览器中输入(前面是你自己的Linux系统的ip地址)

192.168.16.129:50070(HDFS的页面)

192.168.16.129:8088 （yarn管理界面）

关闭防火墙

chkconfig iptables off
service iptables stop
扔解决不了 看这篇博客
https://blog.csdn.net/With__Sunshine/article/details/80589403

配置主机名

如果出现找不到主机名的请看这篇博客
https://www.cnblogs.com/yuanyi/p/6940453.html
需要修改主机名的话请看这篇文章
https://jingyan.baidu.com/article/574c52192a1d8d6c8d9dc1ce.html
vi /etc/hosts

注意对应的映射关系(第三列为主机名)

reboot 重启服务器

以上都由博主亲测！