对hadoop.sqoop.hivemysql集群的搭建

搭建前准备

 

查看IP，子网掩码，网管，DNS的区别

 

把动态IP修改成静态IP：

https://zhidao.baidu.com/question/2206813894506550028.html

BOOTPROTO=static  #为静态的

IPADDR=192.168.1.101   #IP

NETMASK=255.255.255.0  #子网掩码

GATEWAY=192.168.1.1     #默认网管

DNS=192.168.1.1    

 

克隆centos时，会出现eth0的mac网卡重复现象

https://www.linuxidc.com/Linux/2015-03/114975.htm

 

创建快照后，不能立马出现，需要先退出VMware后，再登录才能显示出新快照

 

虚拟机切换快照的时候，不能直接用crt连接,需要先登入到命令面板模式，先实现登录后，CRT 才能连接成功

 

 

 

打印出电脑主机名：echo $HOSTNAME

在/etc/sysconfig/network中修改电脑主机名

在/etc/hosts中修改主机名对应的IP映射

重启网络服务：/etc/init.d/network restart

 

本地yum源安装：

1点击虚拟机里centos的设置按钮，选择CD/DVD里的。使用ISO映像文件，在我的计算机D盘，虚拟机目录下找到.ISO镜像文件。右上脚的连接，和启动事连接要打沟，不打沟会报以下的错，you must specify the filesystem type  ，就是没有指定是.IOS类型

 

2 mount /dev/sr0 /mnt/cdrom  

Mount 查看是否挂载成功

Cd /etc/yum.repos.d/

Mv CentOS-Base.repo CentOS-Base.repo.bak  -使网络yum源失效

 

3 Vim CentOS-Media.repo  -打开本地yum源文件进行配置

 

 

4yum list 验证是否装成功本地yum

 

配置免密：

https://blog.csdn.net/m0_37590135/article/details/74275859

 

Ssh-keygen   生成秘钥

Cd .ssh    到达ssh文件中

scp -p id_rsa.pub root@Node1:~/.ssh/id_rsa.pub1 

cat id_rsa.pub1 > authorized_key  

 

时间同步:

 

关闭防火墙：

https://blog.csdn.net/u012307002/article/details/53036919

 

安装JDK

 

两步, 解压tar -zxvf hadoopjar -C /home

配置/etc/profile 中的JAVA_HOME=/home/jdk1.8.0_161和PATH=$PATH:JAVA_HOME/bin

 

安装hadoop

 

https://jingyan.baidu.com/article/2c8c281d84c8840009252a42.html

查看官方配置文件

https://blog.csdn.net/l1028386804/article/details/51372663

CSDN配置文档

 

 

 

 

 

 

 

 

配置/etc/profile的参考图

Hive的安装

https://www.cnblogs.com/wangxin37/p/6501493.html

 

 

mysql安装

安装前要熟练操作linux命令

https://jingyan.baidu.com/article/fc07f9895c8a2412ffe519a7.html

 

修改mysql下root权限允许远程连接

https://blog.csdn.net/weixin_29115985/article/details/78403153

 

sqoop安装

解压Tar -zxvf sqoop

设置：export HADOOP_COMMON_HOME=~/training/hadoop-2.9.0/

      Export HADOOP_MAPRED_HOME=~/training/hadoop-2.9.0/