大数据Hbase,hive集群搭建

192.168.41.215 xmaster
192.168.41.216 xmaster2

查询网管型号
ip addr

修改IP
vi /etc/sysconfig/network-scripts/ifcfg-xxx

修改hosts
vi /etc/hosts

查看防火墙
systemctl status firewalld.service
关闭防火墙
systemctl stop firewalld.service
开机防火墙自动关闭
systemctl disable firewalld.service

免密登陆
ssh-keygen -t rsa
ssh-copy-id 主节点的IP
scp -rv /root/.ssh 子节点的IP

各个环境变量设置：
export JAVA_HOME=/home/jdk
export PATH=:$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/home/hadoop
export PATH=:$PATH:$HADOOP_HOME/bin

export HBASE_HOME=/home/hbase
export PATH=:$PATH:$HBASE_HOME/bin

export HIVE_HOME=/home/hive
export PATH=:$PATH:$HIVE_HOME/bin

export MYSQL_HOME=/home/mysql
export PATH=:$PATH:$MYSQL_HOME/bin

export ZOOKEEPER_HOME=/home/zookeeper
export PATH=:$ZOOKEEPE{R}_{H}OME:$/bin

export SQOOP_HOME=/home/sqoop
export PATH=:$SQOO{P}_{H}OME:$/bin

export SPARK_HOME=home/spark
export PATH=:$PATH:$SPARK_HOME/bin

***hadoop集群搭建修改的文件

编辑core-site.xml
vi core-site.xml

fs.defaultFS
hdfs://192.168.41.203:9000


hadoop.tmp.dir
/usr/hadoop/tmp

编辑hdfs-site.xml
vi hdfs-site.xml

dfs.replication
1

编辑mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

mapreduce.framework.name
yarn

编辑yarn-site.xml
vi yarn-site.xml

yarn.resourcemanager.hostname
192.168.41.203


yarn.nodemanager.aux-services
mapreduce_shuffle

编辑slaves
vi slaves
在显示出来的文件中只有localhost，在localhost前面加入“#”
在里面的文件添加：salve(子节点的名称)

编辑hadoop-env.sh
vi hadoop-env.sh
将文件中“export JAVA_HOME=${JAVA_HOME}”前加上“#”接着在下面添加：
export JAVA_HOME=/home/jdk

将hadoop拷贝到其他机器中
scp -rv /home/hadoop salve:/home/

初始化hadoop集群
hadoop namenode -format

启动hadoop
cd /home/hadoop/sbin/
./start-all.sh

***Hbase集群搭建修改的文件
修改hbase-env.sh
vi hbase-env.sh
export JAVA_HOME=/home/jdk
在里面找到“# export HBASE_MANAGES_ZK=true”中的“#”去掉

修改hbase-site.xml

hbase.rootdir
hdfs://192.168.41.215:9000/hbase


hbase.cluster.distributed
true


hbase.zookeeper.quorum
xmaster,xmaster2


hbase.zookeeper.property.dataDir
/home/hbase/zookeeper

编辑regionservers
vi regionservers
在出来的文件中添加： salve(也可是slave的IP，与6中必须保持一致)
文件中的localhost前面加“#”

拷贝hbase到其他的机器上
scp -rv /home/hbase slave:/home/

启动hbase集群
/home/hbase/bin/start-hbase.sh

***Hive集群搭建修改的文件
配置my.cnf
vi /etc/my.cnf
mv /etc/my.cnf /etc/my.cnf.bak
vi /etc/my.cnf
在出来的文件中添加:
[mysqld]
basedir=/home/mysql
datadir=/home/mysql/data
socket=/tmp/mysql.sock
lower_case_table_names=1
user=root
character-set-server=utf8
symbolic-links=0
[client]
default-character-set=utf8
[mysqld-safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

初始化数据库
/home/mysql/bin/mysqld --initialize-insecure --basedir=/home/mysql --datadir=/home/mysql/data --user=root

将mysql加入服务
cp /home/mysql/support-files/mysql.server /etc/init.d/mysql

设置mysql开机自启
chkconfig mysql on

启动mysql服务
service mysql start

mysql登陆
mysql -uroot -p
此时会要求输入密码，直接回车

设置密码
set password=password(‘ethink2018’);

创建hive数据库，为安装hive做准备
create database hive default charset utf8;

给mysql赋权root
grant all privileges on . to ‘root’@’%’ identified by ‘ethink2018’;

刷新权限
flush privileges;

修改Hive的配置文件hive-env.sh与hive-site.xml
cd hive/conf/
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
编辑hive-env.sh
在HADOOP_HOME=${bin}|…|…|hadoop下添加
HADOOP_HOME=/home/hadoop
编辑hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.41.215:3306/hive?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionPassword
ethink2018


javax.jdo.option.ConnectionUserName
root
Username to use against metastore database


hive.exec.local.scratchdir
/home/hive/iotmp
Local scratch space for Hive jobs


hive.downloaded.resources.dir
/home/hive/iotmp
Temporary local directory for added resources in the remote file system.

传输jar包(mysql-connect-java-5.1.40-bin.jar与jline-2.12.jar)
cp /home/mysql-connect-java-5.1.40-bin.jar /home/hive/lib/
cp jline-2.12.jar /home/hadoop/share/hadoop/yarn/lib/

启动测试Hive
cd /home/hive/bin/
./schematool -dbType mysql -initSchema

***Zookeeper集群搭建修改的文件
进入zookeeper的解压目录，新建目录data和log
cd /home/zookeeper
mkdir -v data
mkdir -v log

进入zookeeper的conf目录下，复制zoo_sample.cfg并命名为zoo.cfg
cd /home/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg
vi zoo.cfg
在文件中：
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/zookeeper/data
clientPort=2181
dataLogDir=/home/zookeeper/log
service.1=主节点的IP
service.2=子节点的IP

在zookeeper的data目录中新建一个文件myid（注意类型是文件不是目录！！！）。
这里到xftp6进行连接，到data目录下右键新建一个文件myid。

在master中修改myid
vi myid
添加数字 1

将zookeeper复制至从节点上
scp -r /home/zookeeper slave:/home/

在slave节点中修改myid文件，向里面添加数字 2

进入zookeeper的bin目录下，启动zookeeper
cd /home/zookeeper/bin
./zkServer.sh start