Hive安装第二步:CentOS7安装jdk1.8.0,MySQL5.7,Hadoop2.10.1,Hive2.3.7,sqoop1.4.7,Navicat连接hive,MySQL驱动jar包

本文档详述了在CentOS7上安装Hadoop2.10.1,Hive2.3.7,sqoop1.4.7,MySQL5.7的过程,包括环境配置、依赖安装、数据库连接和测试。同时,介绍了如何使用Navicat远程连接Hive服务器。整个安装涉及jdk1.8.0的安装、MySQL的远程访问配置以及Hadoop的伪分布式设置和WordCount Demo运行。
摘要由CSDN通过智能技术生成

承接上篇文章Hive安装第一步:使用VMware Workstation创建虚拟机,搭建CentOS7系统环境,Linux下网络配置,Xshell连接虚拟机
本篇文章主要介绍在CentOS7安装jdk1.8.0,MySQL5.7,Hadoop2.10.1,Hive2.3.7,sqoop1.4.7,Navicat连接hive,有蛮多配置需要修改的,安装的是伪分布式的Hadoop。
重要:都是在root下进行操作的,root权限!!

1.CentOS7中安装jdk1.8.0

jdk下载地址(百度云):https://pan.baidu.com/s/1UGS_VYi6heW-pl4c7pr0DQ
提取码:shyj
在Windows下载好之后通过xftp传输到linux系统中,linux直接下载会很慢。我放在了Download目录下
在这里插入图片描述
接下来把jdk安装包解压到/usr/local,需要管理员权限,su root后进入root下解压,下面默认都是在root权限下进行操作。
tar -zxvf jdk-8u11-linux-x64.tar.gz -C /usr/local
解压后在/usr/local文件夹下可以看到解压的jdk包,然后配置环境变量
vim /etc/profile
在文档后面添加下面几行

export JAVA_HOME=/usr/local/jdk1.8.0_11
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述
保存后,更新环境配置
source /etc/profile
验证一下Java是否安装成功在这里插入图片描述

2.CentOS7安装MySQL5.7

mysql下载先配置yum源,配置yum源步骤如下:
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
然后yum -y install mysql
在这里插入图片描述
然后yum -y install mysql-community-server.x86_64
在这里插入图片描述
MySQL直接在linux中直接下载的,速度有点慢,200多MB大概20-30分钟。
安装完成后首先启动MySQL
systemctl start mysqld.service
查看MySQL运行状态,运行状态如图:
systemctl status mysqld.service
此时MySQL已经开始正常运行,不过要想进入MySQL还得先找出此时root用户的密码,通过如下命令可以在日志文件中找出密码:
grep "password" /var/log/mysqld.log
如下命令登录数据库:
mysql -uroot -p
此时不能做任何事情,因为MySQL默认必须修改密码之后才能操作数据库,如下命令修改密码:
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
然后系统会提示你修改不成功,密码的复杂度不符合默认规定,下面修改密码复杂度:
set global validate_password_policy=LOW; #密码等级设置为低
set global validate_password_length=6; #长度设置为6
再运行上面一条语句就成功了。
下面的命令可以查看mysql默认密码复杂度:
SHOW VARIABLES LIKE 'validate_password%';
接下来开启mysql的远程访问,将云服务器上的3306端口开放;
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
然后再输入下面的命令使配置立即生效
flush privileges;
重新使用新密码登录数据库mysql -uroot -p,再修改一些简单的配置
修改mysql的字符集:
登录mysql,然后输入status,查看mysql字符集信息,编辑MySQL配置文件对默认字符集编码进行修改
vim /etc/my.cnf
进入文件后,新增四行代码:

[client]
default-character-set=utf8
character-set-server=utf8
collation-server=utf8_general_ci

如下图修改成功后,保存并退出
在这里插入图片描述在这里插入图片描述
使用service mysqld restart重启mysql
在这里插入图片描述
输入statu查看字符集,已经修改成功了
图片: https://uploader.shimo.im/f/bGkSssLiUcHmpUyB.png
至此,MySQL配置完毕,可以通过which mysql查看到mysql的安装位置
在这里插入图片描述

3. MySQL连接java,MySQL的驱动jar包下载

MySQL的驱动包mysql-connector-java-5.1.48-bin.jar官网下载地址:
https://dev.mysql.com/downloads/connector/j/5.1.html
下载有点慢,在linux中Download文件夹下使用下面的语句下载jar包
wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz
解压到Download目录下
tar -zxvf mysql-connector-java-5.1.48.tar.gz
cd到解压目录下cd mysql-connector-java-5.1.48/
在这里插入图片描述
将该jar包后面复制到hive安装目录的lib子目录下和Sqoop安装目录的lib子目录下

4.CentOS7安装Hadoop2.10.1

hadoop下载地址
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
国内镜像下载地址,下面的地址下载较快
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/
下载好hadoop安装包后,通过xftp传输到linux中,解压到/usr/local目录下(安装到哪里好像可以自行设定,我只是看大家都安装到这里。。。)
tar hadoop-2.10.1.tar.gz -C /usr/local/ #解压到/usr/local/
mv hadoop-2.10.1 hadoop #改文件夹名字,简单一些,可选操作
解压后需要对Hadoop的一些文件进行配置,需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop/etc/hadoop下面,具体需要的配置如下:
注意!!!在修改配置之前先复制一份Hadoop的配置文件,以防改错。

4.1 hadoop-env.sh配置

主要修改java的安装路径

vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_11

在这里插入图片描述在这里插入图片描述
:wq保存并退出

4.2 core-site.xml配置

vi core-site.xml
添加下面的代码,file:/home/***/hadoop/tmp 路径改成自己的

<configuration>
    <property>
        <name>hadoop.tmp.dir</name
  • 2
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值