大数据日志系统环境搭建

最新推荐文章于 2024-10-13 15:54:09 发布

weixin_34407348

最新推荐文章于 2024-10-13 15:54:09 发布

阅读量150

点赞数

文章标签：大数据 java 运维

原文链接：https://my.oschina.net/forwy/blog/1476060

版权

为什么80%的码农都做不了架构师？>>>

基础信息

服务器集群信息：

机器名	机器IP	Host	操作系统
w01	192.168.	forwy.s1.com	centOS
w02	192.168.	forwy.s2.com	centOS
w03	192.168.	forwy.s3.com	centOS

软件版本：

{ versions: 
	{
		JDK: java-1.7.0-openjdk-1.7.0.25.x86_64,
		Python: 2.7.12,
		ZooKeeper: 3.4.8,
		Kafka: 2.11-0.10.0.0(Scale2.11),
		Storm: 1.0.1,
		Hadoop: 2.7.2,
		Hbase: 1.2.2,
		Hive: 2.1.0,
		Spark: 1.6.2
	}
}

安装准备

创建用户

#w01服务器执行
su - root
useradd wy01
passed wy01

#w02服务器执行
su - root
useradd wy02
passed wy02

#w03服务器执行
su - root
useradd wy03
passed wy03

添加 host

#w01服务器执行,在host文件中添加信息
su - root
vi /etc/hosts
192.168.  w01

#w02服务器执行在host文件中添加信息
su - root
vi /etc/hosts
192.168.  w02

#w03服务器执行在host文件中添加信息
su - root
vi /etc/hosts
192.168.  w03

安装 JDK

#将 jdk 包放在 /var/java 目录下
tar xvf jdk-8u102-linux-x64.tar.gz
vi /etc/profile
.
.
.
export JAVA_HOME=/var/java/jdk1.8.0_102 
export JRE_HOME=/var/java/jdk1.8.0_102/jre 
export PATH=$PATH:/var/java/jdk1.8.0_102/bin
export CLASSPATH=./:/var/java/jdk1.8.0_102/lib:/var/java/jdk1.8.0_102/jre/lib
.
.
.
reboot

#检查
java -version

服务器互访认证

#在第一次范文的时候需要进行认证，回车即可。
#w01服务器执行,访问w02、w03服务器
su - cloud
ssh w02
exit
ssh w03
exit

#w02服务器执行,访问w01、w03服务器
su - cloud
ssh w01
exit
ssh w03
exit

#w03服务器执行,访问w01、w02服务器
su - cloud
ssh w01
exit
ssh w02
exit

#可查看到认证信息
vi ~/.ssh/know_hosts

-------------------------------------------------------------------------------------------------------------

#w01服务器执行,生产rsa.pub文件
su - w01
ssh-keygen -t rsa

#w02服务器执行,生产rsa.pub文件
su - w02
ssh-keygen -t rsa

#w03服务器执行,生产rsa.pub文件
su - w03
ssh-keygen -t rsa

#将生成的rsa.pub文件复制到其他机器上,使用SCP
#w01服务器执行,将rsa.pub复制到w02,w03上
su - w01
cd .ssh 
scp -r id_rsa.pub cloud@w02:/home/cloud/.ssh/authorized_keys_w02
scp -r id_rsa.pub cloud@w03:/home/cloud/.ssh/authorized_keys_w03


#w02服务器执行,将rsa.pub复制到w01,w03上
su - w02
cd .ssh 
scp -r id_rsa.pub cloud@w01:/home/cloud/.ssh/authorized_keys_w01
scp -r id_rsa.pub cloud@w03:/home/cloud/.ssh/authorized_keys_w03


#w03服务器执行,将rsa.pub复制到w01,w02上
su - w03
cd .ssh 
scp -r id_rsa.pub cloud@w01:/home/cloud/.ssh/authorized_keys_w01
scp -r id_rsa.pub cloud@w02:/home/cloud/.ssh/authorized_keys_w02


#-------之后执行下面


#w01服务器执行
su - w01
cat id_rsa.pub >> authorized_keys
cat authorized_keys_w02 >> authorized_keys
cat authorized_keys_w03 >> authorized_keys
chmod 644 authorized_keys


#w02服务器执行
su - w02
cat id_rsa.pub >> authorized_keys
cat authorized_keys_w01 >> authorized_keys
cat authorized_keys_w03 >> authorized_keys
chmod 644 authorized_keys


#w03服务器执行
su - w03
cat id_rsa.pub >> authorized_keys
cat authorized_keys_w01 >> authorized_keys
cat authorized_keys_w02 >> authorized_keys
chmod 644 authorized_keys

目录准备

#切换到root用户，在根目录下面创建opt目录，并在其下再创建 xx 目录。将opt及其子目录的所有者转移到 xx 下面
#w01服务器执行
su – root
mkdir /opt
mkdir /opt/w01
chown -R w01 /opt


#w02服务器执行
su – root
mkdir /opt
mkdir /opt/w02
chown -R w02 /opt


#w03服务器执行
su – root
mkdir /opt
mkdir /opt/w03
chown -R w03 /opt

软件安装

Zookeeper

#w01服务器执行
su – w01
wget http://apache.fayea.com/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5.3-beta.tar.gz
tar zookeeper-3.5.3-beta.tar.gz

#复制至其他服务器
scp –r zookeeper-3.5.3-beta w02@w02:/home/w02
scp –r zookeeper-3.5.3-beta w03@w03:/home/203
.
.
.
#分别编辑三台服务器下的zk配置文件
#w01服务器执行
su – w01
cd zookeeper-3.5.3-beta/conf
vi zoo.cfg
--将dataDir属性改成/opt/w01/zookdata
--添加dataLogDir=/opt/w01/zooklog
--在末尾添加如下
server.01=w01:2888:3888
server.02=w02:2888:3888
server.03=w03:2888:3888


#w02服务器执行
su – w02
cd zookeeper-3.5.3-beta/conf
vi zoo.cfg
--将dataDir属性改成/opt/w02/zookdata
--添加dataLogDir=/opt/w02/zooklog
--在末尾添加如下
server.01=w01:2888:3888
server.02=w02:2888:3888
server.03=w03:2888:3888


#w03服务器执行
su – w03
cd zookeeper-3.5.3-beta/conf
vi zoo.cfg
--将dataDir属性改成/opt/w03/zookdata
--添加dataLogDir=/opt/w03/zooklog
--在末尾添加如下
server.01=w01:2888:3888
server.02=w02:2888:3888
server.03=w03:2888:3888

#server.42后面的42对应的是每台服务器唯一的id，执行下面的命令分别写入每台服务
#w01服务器执行
su – w01
mkdir /opt/w01/zookdata
echo '01' > /opt/w01/zookdata/myid


#w02服务器执行
su – w02
mkdir /opt/w02/zookdata
echo '02' > /opt/w02/zookdata/myid


#w03服务器执行
su – w03
mkdir /opt/w03/zookdata
echo '03' > /opt/w03/zookdata/myid

服务启动

#w01服务器执行
su – w01
cd zookeeper-3.5.3-beta/
chmod +x bin/*.sh
#启动
bin/zkServer.sh start


#w02服务器执行
su – w02
cd zookeeper-3.5.3-beta/
chmod +x bin/*.sh
#启动
bin/zkServer.sh start


#w03服务器执行
su – w03
cd zookeeper-3.5.3-beta/
chmod +x bin/*.sh
#启动
bin/zkServer.sh start

.
.
.
#分别查看状态
bin/zkServer.sh status