Hadoop 安装（有3个版本）

最新推荐文章于 2023-03-21 09:00:31 发布

TT15751097576

最新推荐文章于 2023-03-21 09:00:31 发布

阅读量664

点赞数 1

文章标签： Hadoop 安装（有3个版本）

本文链接：https://blog.csdn.net/tt15751097576/article/details/100151358

版权

Hadoop 安装（?)（有3个版本）

打开xshell连接Linux系统，

1.查看Java版本：Java -version

2.查看mysql：mysql -uroot -proot

//打开mysql

mysql> use mysql

Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

//查询user

mysql> select user,host from user where user=‘root’ ;

mysql> Ctrl-C – exit!
Aborted

3.把Hadoop文件拉到opt文件夹下面

[外链图片转存失败(img-38kBjOuh-1567130380970)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1566913958146.png)]

查看JAVA_HOME的路径等会要用

4.[root@bigdata opt]# echo $JAVA_HOME

/opt/inst/jdk181

5.解压hadoop-2.6.0-cdh5.14.2.tar.gz

[root@bigdata opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz

6.新建文件夹bigdata

[root@bigdata opt]# mkdir bigdata

//把 hadoop-2.6.0-cdh5.14.2移动到bigdata下面的hadoop260（新建的）

[root@bigdata opt]# mv hadoop-2.6.0-cdh5.14.2 bigdata/hadoop260

6.进入Hadoop准备改配置文件（共5个）

[root@bigdata opt]# cd bigdata/hadoop260/etc/hadoop（这是Hadoop存放文件的路径）

core-site.xml hdfs-site.xml hadoop-env.sh mapred-site.xml yarn-site.xml

（1）配置环境变量里的运行脚本

[root@bigdata hadoop]# vi hadoop-env.sh

export JAVA_HOME=/opt/inst/jdk181

（2）配置核心文件

//进入浏览器Hadoop.apache.org下载Hadoop的地址

[root@bigdata hadoop]# vi core-site.xml

<configuration>
        <property>
        		//想要和环境系统通信就要使用fs.defaultFS地址
                <name>fs.defaultFS</name>
                //hdfs协议：//主机名：端口号9000
                //查看主机名：hostname
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
        		//基本的临时目录（记录一些信息）
                <name>hadoop.tmp.dir</name>
                //在opt下新建hadoopdata文件夹，这样就不会轻易丢东西了
                <value>/opt/hadoopdata</value>
        </property>
        <property>
        		//设置Hadoop权限，准备以后安装的软件和Hadoop整合，给root用户身份登录
                <name>hadoop.proxyuser.root.users</name>
                //只要是root型用户就可以登录
                <value>*</value>
        </property>
        <property>
        		//开放权限：只要是root用户组的用户，也可以登录
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

（3）配置文件系统（当前计算机有什么约束？就是准备文件备份几次）

[root@bigdata hadoop]# vi hdfs-site.xml

//一般情况下是三个备份1，本机中 2，同机架中 3，跨另外机架中（电路不一样了）

<configuration>
        <property>
        		//单节点：配置副本数为1    (replication就是副本的意思)
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

（4）配置资源管理文件（计算用的）

//先拷贝mapred

[root@bigdata hadoop]# cp mapred-site.xml.template mapred-site.xml

//编辑mapred

[root@bigdata hadoop]# vi mapred-site.xml

<configuration>
        <property>
        		//计算的时候会调用资源框架，分配任务（mapreduce依赖于yarn（雅恩））
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

（5）配置yarn框架（就是调度资源的那个）

[root@bigdata hadoop]# vi yarn-site.xml

<configuration>
        <property>
        		//资源管理器（把拿到的文件分配给谁，让谁去写）可以指定ip地址
                <name>yarn.resourcemanager.localhost</name>
                //单机版或者伪分布式版可以这样配置
                <value>localhost</value>
        </property>
        <property>
        		//节点管理器（每隔5分钟给我一个回应（以心跳的方式通知资源管理器））管理的是硬件信息（就					是发信息的，如：cpu的状态，心跳等等）
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

7.将用户配置到环境变量

[root@bigdata hadoop]# vi /etc/profile //配置全局变量

export HADOOP_HOME=/opt/bigdata/hadoop260  //我自己的Hadoop路径
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME