从零开始的LinuxCentOS7大数据开发相关软件安装(jdk、mysql、es、hadoop[伪分布式]、zookeeper[伪分布式]、hbase、hive、sqoop)

从零开始的LinuxCentOS7大数据开发相关软件安装

大家好~本篇文章用来记录本人学习大数据时所用软件的安装流程
别问 问就是给自己写备忘录→v→

初始配置

首先你需要一台CentOs7虚拟机→v→
其次你需要把防火墙关了再禁用

systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

然后你会发现默认的虚拟机名字看着很不爽 于是把他改了

vi /etc/hostname #更改本机名
vi /etc/hosts #在这里添加本机ip+空格+自定义本机名
hostnamectl set-hostname ... #修改本机名即刻生效

改完名舒服多了，接着调整网卡，来使用ssh工具

vi /etc/sysconfig/network-scripts/ifcfg-ens33 #反正我一直都是ens33 但是应该不同的装机方式不一样
#小写a进入insert模式
BOOTPROTO=static		#修改内容
ONBOOT=yes				#修改内容
IPADDR=xxx.xxx.xxx.xxx	#修改内容（ip和上面hosts里面保持一致）
#按esc退出insert模式 直接在键盘上敲：x回车保存
service network restart #重启网卡

突然想起还没配置免密登陆，于是

ssh-keygen -t rsa -P "" #生成秘钥
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@... #将本机秘钥拷贝到目标ip（在这里...填写本机IP）

安装JDK1.8

好了，现在你有一台你用的舒服的Centos7了
下面开始安装万恶之源jdk
首先你需要一个jdk1.8安装包
获取路径：
https://pan.baidu.com/s/1JNy6YN4yzYYT5OuPrYdusA （本文通用提取码2381）
那么首先使用ssh工具将jdk上传到我们的虚拟机上
然后解压安装包到/opt目录下：

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/
#将j将jdk....文件解压在/opt下

顺带改个名

mv /opt/jdk... /opt/java8

接下来配置环境变量

#在/etc/profile追加写入
echo 'export JAVA_HOME=/opt/java8' >> /etc/profile
echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin':$PATH >> /etc/profile
source /etc/profile #配置文件重新加载

最后可以分别输入java、javac、java -version来验证环境变量是否配置成功~

安装MYSQL

因为网速问题，yum下载安装的速率实在感人，于是我们使用rpm包
获取路径：https://pan.baidu.com/s/1Zj5uwON0UopSnZBZe6Sd_g（本文通用提取码2381）
这边首先呢先下载三个依赖

yum install -y per
yum install -y net-tools
yum install -y autoconf

然后呢，由于centos7自带了mariadb，在mysql安装时会发生冲突
于是将其删除

rpm -qa|grep mariadb
rpm -e ... --nodeps #...填写上面的查询结果

接下来先安装client再安装server

rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm
rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm

安装完毕后来配置初始密码，先更改配置文件

vi /usr/my.cnf
[client]
default-character-set=utf8
#在[mysqld]下添加以下内容
skip-grant-tables#跳过密码验证
character_set_server=utf8
collation_server=utf8_general_ci

然后开启mysql服务，完成后进入mysql

service mysql start
mysql

进入之后更改初始密码

update mysql.user set password=password('ok') where user='root' #更改密码为ok
quit #退出

出去之后将之前改的skip-grant-tables注释掉（在行前加#）
重启mysql服务并进入mysql再set一下

vi /usr/my.cnf
#skip-grant-tables
service mysql restart
mysql -uroot -pok
set password=password('ok') 

mysql安装完毕！

安装ES

安装包获取途径：
https://pan.baidu.com/s/15oxlTojjqbnIScnAS4bc5Q（本文通用提取码2381）
在opt目录下新建一个es文件夹，将解压的包放入（最好改下名）
tip:elasticsearch-head-master.zip 不能用tar命令 需要unzip来解压（没有就yum下载）

mkdir /opt/es
tar -zxvf ...... -C /opt/es/
yum install -y unzip
unzip elasticsearch-head-master.zip