hadoop集群搭建

1.首先配置jdk
第一步：将centos自带的openjdk删除

jdk配置参考
tar -xvf jdk-8u271-linux-x64.tar.gz #解压命令
mv jdk1.8.0_271 jdk1.8 # 重命名文件夹

2. 配置hadoop
   首先下载

wget  https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar -xvf hadoop-3.2.1.tar.gz   # 解压在/root/hadoop-3.2.1

hadoop配置
【重要】

vi /etc/profile

export JAVA_HOME=/root/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/root/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME

source /etc/profile

其中hadoop里的编辑内容链接里有些问题

[root@slave2 hadoop]# vi hadoop-env.sh

应改为：

export HADOOP_HOME=/root/hadoop-3.2.1
export JAVA_HOME=/root/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

[root@master sbin]# cd /root/.ssh/
[root@master .ssh]# touch authorized_keys
[root@master .ssh]# chmod 600 authorized_keys
[root@master .ssh]# cat id_rsa.pub>>authorized_keys
[root@master .ssh]# scp authorized_keys slave1:/root/.ssh
root@slave1's password: 
authorized_keys                                                           100%  393     1.2MB/s   00:00    
[root@master .ssh]# scp authorized_keys slave2:/root/.ssh

主从节点无秘钥ssh相互登录

之前一直只能启动两个节点
偶然三个节点都启动了，步骤：
首先删除掉三个虚拟机hadoop文件夹下tmp和hdfs里的所有内容
然后hdfs namenode -format这个命令执行完后
三个节点就出来了！

我是使用sqoop将hive数据导入mysql
但是不知道为什么总是缺少数据
后来先用hive将hive里的数据库表数据导入本地文件，然后再将本地文件导入mysql，我可真机灵

insert overwrite local directory '/root/Downloads/test'
row format delimited fields terminated by '\t'
select * from us_county;

LOAD DATA LOCAL INFILE '/root/Downloads/test/us' INTO TABLE counties;

Springboot部署到远程linux服务器上（CentOS7）步骤：

1. 在idea先clean 再package生成jar用xftp上传到服务器上
   

2. 服务器配置jdk环境

3. 服务器配置mysql

4. 关闭xshell后，部署的项目自动关闭的解决办法
   简单来说，用screen -S test命令创建一个会话，然后使用java -jar 命令部署成功

5. 如果代码有改动，需要重新部署参考重新部署
   如果发现通过浏览器8080端口无法访问，查看防火墙状态：sudo systemctl status firewalld；发现开启了导致访问不了，所以把
   防火墙关闭：sudo systemctl stop firewalld。就可以正常访问了。