搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)

原创 2017年02月09日 11:14:02

一、准备工作:

操作系统:Linux(CentOS 7.0)

下载

Java(jdk-8u111-linux-x64.rpm)

Hive2.1.1(apache-hive-2.1.1-bin.tar.gz  jdk-8u111-linux-x64.rpm)

Hadoop2.7.3(hadoop-2.7.3.tar.gz)

下载Java(JDK)

点击打开链接

下载安装在官网可下载最新版(Hadoop/Hive)
点击打开链接

把下载文件存放在CentOS桌面文件(Hadoop)

二、安装配置

1、    安装 java (JDK)

[root@localhost Hahoop]# yuminstall -y jdk-8u111-linux-x64.rpm
查看安装后的版本

[root@localhost Hahoop]# java -version

java version "1.8.0_111"

Java(TM) SE Runtime Environment (build1.8.0_111-b14)

Java HotSpot(TM) 64-Bit Server VM(build 25.111-b14, mixed mode)

2、    解压hadoop和hive程序

[root@localhost Hahoop]# tar -xzfhadoop-2.7.3.tar.gz
[root@localhost Hahoop]# tar -xzfapache-hive-2.1.1-bin.tar.gz
查看解压文件夹

[root@localhost Hahoop]# ls
apache-hive-2.1.1-bin         hadoop-2.7.3         jdk-8u111-linux-x64.rpm

apache-hive-2.1.1-bin.tar.gz  hadoop-2.7.3.tar.gz

3、    移动解压文件并重命名hive/Hadoop

[root@localhost Hahoop]# mvhadoop-2.7.3 /usr/Hadoop
[root@localhost Hahoop]# mvapache-hive-2.1.1-bin /usr/hive

4、    配置环境变量(HADOOP)

[root@localhost hadoop]# vim~/.bashrc


添加:

# set hadoop/hive/jdk(java) path
export HADOOP_HOME=/usr/hadoop
export HIVE_HOME=/usr/hive
export JAVA_HOME=/usr/java/jdk1.8.0_111
export PATH="$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$JAVA_HOME/bin"

生效:

[root@localhost hadoop]# source~/.bashrc

5、    创建目录Hadoop

[root@localhost hadoop]# cd /usr/Hadoop
[root@localhost hadoop]# mkdir tmp
[root@localhost hadoop]# mkdir hdfs
[root@localhost hadoop]# mkdir hdfs/data
[root@localhost hadoop]# mkdir hdfs/name

6、    设置配置文件

5.0、指定文件所在路径

[root@localhost hadoop]# cd/usr/hadoop/etc/Hadoop

5.1、配置hadoop-env.sh]
[root@localhost hadoop]# vimhadoop-env.sh

--添加

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_111

5.2、配置yarn-env.sh

[root@localhost hadoop]# vim yarn-env.sh

添加
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
exportJAVA_HOME=/usr/java/jdk1.8.0_111


5.3、配置core-site.xml

[root@localhost hadoop]# vimcore-site.xml

<configuration>
              <property>
                            <name>fs.default.name</name>
                            <value>hdfs://localhost:9000</value>
                            <description>HSDF的URL,文件系统:namenode标识:端口号</description>
              </property>
              <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/usr/hadoop/tmp</value>
                            <description>本地hadoop临时文件夹</description>
              </property>
</configuration>


5.4、配置hdfs-site.xml

[root@localhost hadoop]# vim hdfs-site.xml

<configuration>
              <property>
                            <name>dfs.name.dir</name>
                            <value>/usr/hadoop/hdfs/name</value>
                            <description>namenode上存储hdfs名字空间元数据</description>
              </property>
              <property>
                            <name>dfs.data.dir</name>
                            <value>/usr/hadoop/hdfs/data</value>
                            <description>datanode上数据块的物理存储位置</description>
              </property>
              <!--指定HDFS副本的数量-->
              <property>
                            <name>dfs.replication</name>
                            <value>1</value>
                            <description>副本个数,默认3应该小于datanode机器数量</description>
              </property>
</configuration>


5.5、配置yarn-site.xml

[root@localhost hadoop]# vim yarn-site.xml

<configuration>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
<property>
              <name>yarn.resourcemanager.webapp.address</name>
              <value>localhost:8099</value>
</property>
</configuration>


5.6、配置mapred-site.xml(启用服务时没用到,可不用配置)

[root@localhost hadoop]# mvmapred-site.xml.template mapred-site.xml
[root@localhost hadoop]# vim mapred-site.xml

<configuration>
              <property>
                            <name>mapreduce.framework.name</name>
                            <value>yarn</value>
                            <!--客户端访问为yarn-->
              </property>
</configuration>


6、配置ssh无密码(1.产生RSA密钥对;2.群集内共享密钥)启动hadoop服务(启动dfs/yarn时的无需密码.注:如果home目录没有通过NFS共享需要其他方法共享密钥(ssh-copy-id,复制到远程主机调用格式:ssh-copy-id -i ~/.ssh/id_rsa.pub  root@192.168.1.2)

[root@localhost hive]# ssh-keygen -t rsa-p'' -f ~/.ssh/id_rsa
[root@localhost hive]# cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys


7、启动Hadoop

7.1、格式化namenode

[root@localhost hadoop]# bin/hdfs namenode-format

7.2、启动hdfs(按提示输入yes和账号密码,配置了(步骤6) ssh时跳过输入密码步骤)

[root@localhost hadoop]# sbin/start-dfs.sh


7.3、启动yarn(按提示输入yes和账号密码,配置了(步骤6) ssh时跳过输入密码步骤)

[root@localhost hadoop]# sbin/start-yarn.sh


7.4、查看进程:

[root@localhost hadoop]# jps


26161 DataNode

26021 NameNode

26344 SecondaryNameNode

26890 Jps

26492 ResourceManager

26767 NodeManager



版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop-2.7.3环境下Hive-2.1.1安装配置。

环境:ubuntu-16.0.4;jdk1.8.0_111;apache-hadoop-2.7.3;apache-hive-2.1.1。 这里只记录Hive的安装。 首先从官网上下载所需要的版本,本人...
  • SCGH_Fx
  • SCGH_Fx
  • 2017年03月26日 17:49
  • 1429

Hadoop2.7.3下Hive 与MySQL

Hadoop2.7.3下Hive 与MySQL Hadoop安装环境参考:Hadoop安装 如果ubuntu安装软件,一直安装不上,参考:Storm下面有sourcelist 第一步: 安...
  • wangming520liwei
  • wangming520liwei
  • 2017年09月01日 18:48
  • 358

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive) Hive配置MySQL,配置常见问题。
  • roy_88
  • roy_88
  • 2017年03月08日 23:35
  • 4424

Ubuntu系统下配置Hadoop2.7.1+Hive2.1.0

前言 安装过程中遇到的问题从以下博客学习而得,现对其进行整理 在Hadoop1.2.1分布式集群环境下安装hive0.12 CentOS下Hive2.0.0单机模式安装详解  CentOS下Hive2...
  • cuihaolong
  • cuihaolong
  • 2016年07月26日 19:28
  • 4197

hadoop学习之HIVE(3):hadoop2.7.2下安装hive2.1.0并关联mysql数据库

前提是安装好hadoop2.7.2,再往下继续。 1,  首先安装mysql数据库:详见本人博客:点我进入博客 root密码,设为123456,下面会用到。 然后通过mysql –uroot –p登陆...
  • qq_32166627
  • qq_32166627
  • 2016年07月04日 21:42
  • 1326

Hadoop 2.7.4 关闭与启动

环境说明: [root@hadp-master sbin]# hadoop version Hadoop 2.7.4 一、 脚本封装全部一起启动、关闭 1.1 启动 [root@hadp...
  • zhang123456456
  • zhang123456456
  • 2017年08月27日 21:44
  • 465

CentOS 7下Hadoop2.7.4伪分布搭建

一、软件准备: 下载hadoop2.74版本:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop...
  • github_38034959
  • github_38034959
  • 2017年08月21日 01:16
  • 1784

Hadoop2.7.4在Windows 7(64位)详细配置(完美版)

hadoop环境搭建相对麻烦,需要安装虚拟机过着cygwin什么的,所以通过查资料和摸索,在window上搭建了一个,不需要虚拟机和cygwin依赖,相对简便很多。官网下载JDK 1.8版本配置好ja...
  • WuLex
  • WuLex
  • 2017年09月21日 10:27
  • 2309

Hadoop-2.7.4 八节点分布式集群安装

先感叹一下准备因为之前已经有安装经验了(虚拟机的三节点分布式,按过几次),再加上对Ubuntu还算比较熟悉中间也算少踩了不少坑。因为这次主要是老师要求所以,才打算再自己安装一次apche hadoop...
  • FontThrone
  • FontThrone
  • 2017年09月10日 16:41
  • 1014

mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)

一、Hadoop环境说明Hadoop2.7.3集群安装及配置参见: Hadoop完全分布式集群安装及配置(基于虚拟机) OS版本: Ubuntu-server-16.04注:以下mysql5.7.1...
  • quiet_girl
  • quiet_girl
  • 2017年07月13日 21:47
  • 1071
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
举报原因:
原因补充:

(最多只允许输入30个字)