环境搭建脚本记录（待开源等小伙伴补充）

大数据组件安装顺序

组件安装顺序：
1.flume zk
2.kafka  hadoop
3.flink hbase  spark

JDK安装

1 上传jdk安装包到主机
2 配置环境变量
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

3 文件生效
source /etc/profile
4 查看
java -version

静态ip配置

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.2.11
NETMASK=255.255.255.0
GATEWAY=192.168.2.99
DNS1=192.168.2.88
DNS2=114.114.114.114

systemctl restart network

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

配置各主机之间免密登录

vi /etc/hosts
192.168.2.100 master
192.168.2.10 node1
192.168.2.11 node2
192.168.2.12 node3

scp /etc/hosts root@node1:/etc/
scp /etc/hosts root@node2:/etc/
scp /etc/hosts root@node3:/etc/

#在所有主机上分别执行生成公私钥
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
ssh-copy-id -i ~/.ssh/id_rsa.pub master

flume安装配置

1 上传安装包

2 环境变量
vim /etc/profile
export FLUME_HOME=/usr/app/apache-flume-1.6.0-cdh5.15.2-bin
export PATH=$FLUME_HOME/bin:$PATH

3 生效
source /etc/profile

4 修改配置
cd $FLUME_HOME/conf
cp flume-env.sh.template flume-env.sh
指定jdk安装路径
export JAVA_HOME=/usr/java/jdk1.8

5 验证
flume-ng version
有时可能会不出现，但是flume可正常使用 

Zookeeper单机安装配置

1 上传安装包
2 修改环境变量
vim /etc/profile

export ZOOKEEPER_HOME=/usr/app/zookeeper-3.4.14
export PATH=$ZOOKEEPER_HOME/bin:$PATH

#生效
source /etc/profile
##############################
3 修改配置信息
cd $ZOOKEEPER_HOME/conf/
cp zoo_sample.cfg  zoo.cfg
vim zoo.cfg
#一般修改数据和日志文件目录即可
#############################
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
clientPort=2181
##############################
4 启动
zkServer.sh start
5 验证
[root@hadoop001 bin]# jps
3814 QuorumPeerMain

Zookeeper集群安装配置

1 上传安装包
2 修改环境变量
vim /etc/profile

export ZOOKEEPER_HOME=/usr/app/zookeeper-3.4.14
export PATH=$ZOOKEEPER_HOME/bin:$PATH
##################
#生效
source /etc/profile

3 修改配置信息
cd $ZOOKEEPER_HOME/conf/
cp zoo_sample.cfg  zoo.cfg
vim zoo.cfg
#一般修改数据和日志文件目录即可
#############################
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
clientPort=2181
## 单机增加部分
## server.1 这个1是服务器的标识，可以是任意有效数字，标识这是第几个服务器节点，这个标识要写到dataDir目录下面myid文件里
## 指名集群间通讯端口和选举端口
server.1=hadoop001:2287:3387
server.2=hadoop002:2287:3387
server.3=hadoop003:2287:3387
##############################

4 选举节点标识
## 创建dataDir目录下建立myid文件
mkdir -p /usr/local/zookeeper/data/
touch /usr/local/zookeeper/data/myid
## 填入标识
echo "1" > /usr/local/zookeeper/data/myid
## 拷贝到其他节点
scp /usr/local/zookeeper/data/myid node2:/usr/local/zookeeper/data/
scp /usr/local/zookeeper/data/myid node2:/usr/local/zookeeper/data/
##其他主机myid标识改为2，3
vim /usr/local/zookeeper/data/myid     ----2
vim /usr/local/zookeeper/data/myid     ----3
############################################
5 启动
zkServer.sh start
4 验证
[root@hadoop001 bin]# jps
3814 QuorumPeerMain

zkServer.sh status

Hadoop集群环境搭建

1. 安装jdk
2. 配置各主机间的免密登录
3. 上传hadoop安装包(先在一台主机上完成，配置完成后拷贝)
###############################3
5. 修改环境变量
vim /etc/profile

export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2
export  PATH=${HADOOP_HOME}/bin:$PATH
#生效
source /etc/profile
###########################

5 修改配置信息
cd ${HADOOP_HOME}/etc/hadoop
vim hadoop-env.sh
# 指定JDK的安装位置
export JAVA_HOME=/usr/java/jdk1.8.0_201/

############################
vim core-site.xml

<configuration>
    <property>
        <!--指定 namenode 的 hdfs 协议文件系统的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:8020</value>
    </property>
    <property>
        <!--指定 hadoop 集群存储临时文件的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>

#################################3
vim hdfs-site.xml
<property>
      <!--namenode 节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔-->
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/namenode/data</value>
</property>
<property>
      <!--datanode 节点数据（即数据块）的存放位置-->
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/datanode/data</value>
</property>

vim yarn-site.xml
#################################333
<configuration>
    <property>
        <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <!--resourcemanager 的主机名-->
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
</configuration>

#####################################33
vim mapred-site.xml

<configuration>
    <property>
        <!--指定 mapreduce 作业运行在 yarn 上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

#################################
vim slaves

hadoop001
hadoop002
hadoop003

6 拷贝配置好的安装包到其他主机#############
# 将安装包分发到hadoop002
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop002:/usr/app/
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop003:/usr/app/

7 两台主机配置环境变量###########
vim /etc/profile

export ZOOKEEPER_HOME=/usr/app/zookeeper-3.4.14
export PATH=$ZOOKEEPER_HOME/bin:$PATH

8 主节点上初始化##############
hdfs namenode -format

9 启动集群###################
cd ${HADOOP_HOME}/sbin
# 启动dfs服务
start-dfs.sh
# 启动yarn服务
start-yarn.sh

10 查看集群#####################
jps
hadoop 集群WEB-UI  hadoop001:50070
yarn    web地址    hadoop001:8088

11 花旦--提交计算pi示例程序
hadoop jar /usr/app/hadoop-2.6.0-cdh5.15.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.2.jar  pi  3  3

HBase-hadoop-zk集群环境配置

1 上传Hbase安装包（一个节点，配置完进行分发）
2 配置环境变量
vim /etc/profile

export HBASE_HOME=/usr/app/hbase-1.2.0-cdh5.15.2
export PATH=$HBASE_HOME/bin:$PATH
###########文件生效
source /etc/profile

3 集群配置
cd ${HBASE_HOME}/conf

vim hbase-env.sh
############################################33
# 配置JDK安装位置
export JAVA_HOME=/usr/java/jdk1.8.0_201
# 不使用内置的zookeeper服务
export HBASE_MANAGES_ZK=false

vim hbase-site.xml
##############################################
<configuration>
    <property>
        <!-- 指定 hbase 以分布式集群的方式运行 -->
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <!-- 指定 hbase 在 HDFS 上的存储位置 -->
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop001:8020/hbase</value>
    </property>
    <property>
        <!-- 指定 zookeeper 的地址-->
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
    </property>
</configuration>

vim regionservers
##################################
hadoop001
hadoop002
hadoop003

## 不存在新建的文件，Master 服务由 Zookeeper 集群进行协调管理，
## 这个是备用的master
## 可以是多个，这里我们以 1 个为例
vim backup-masters
###############################3333
hadoop002

4 HDFS客户端配置
在 Hadoop 集群上进行了 HDFS 客户端配置的更改
比如将副本系数 dfs.replication 设置成 5，则必须使用以下方法之一来使 HBase 知道
Add a pointer to your HADOOP_CONF_DIR to the HBASE_CLASSPATH environment variable in hbase-env.sh.
Add a copy of hdfs-site.xml (or hadoop-site.xml) or, better, symlinks, under ${HBASE_HOME}/conf, or
if only a small set of HDFS client configurations, add them to hbase-site.xml.
## 方法1###################################3333
vim hbase-env.sh
export HBASE_CLASSPATH=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop
方法2 3暂不赘述

5 安装包分发
scp -r /usr/app/hbase-1.2.0-cdh5.15.2/  hadoop002:usr/app/
scp -r /usr/app/hbase-1.2.0-cdh5.15.2/  hadoop003:usr/app/

6 分别在三台机器上启动
> 启动zk 启动hadoop 启动Hbase
####################
zkServer.sh start
start-dfs.sh
start-yarn.sh
start-hbase.sh

7 web查看
2.0 以下的版本访问--------hadoop001:60010
2.0 以上的版本访问--------hadoop001:16010

HBase集群环境配置

1. zk集群环境搭建
2. 上传安装包
3. 进入解压目录，拷贝3份文件

cp server.properties server-1.properties
cp server.properties server-2.properties
cp server.properties server-3.properties
################################
4 三份配置文件修改如下：

vim server-1.properties
########################################3
# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
# 监听地址
listeners=PLAINTEXT://hadoop001:9092
# 数据的存储位置
log.dirs=/usr/local/kafka-logs/00
# Zookeeper连接地址
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

vim server-2.properties
##########################################3
broker.id=1
listeners=PLAINTEXT://hadoop001:9093
log.dirs=/usr/local/kafka-logs/01
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

vim server-2.properties
##################################3
broker.id=2
listeners=PLAINTEXT://hadoop001:9094
log.dirs=/usr/local/kafka-logs/02
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

5 启动集群
bin/kafka-server-start.sh config/server-1.properties
bin/kafka-server-start.sh config/server-2.properties
bin/kafka-server-start.sh config/server-3.properties

6 创建测试主题
bin/kafka-topics.sh --create --bootstrap-server hadoop001:9092 \
					--replication-factor 3 \
					--partitions 1 --topic my-replicated-topic

7 验证创建的主题
bin/kafka-topics.sh --describe --bootstrap-server hadoop001:9092 --topic my-replicated-topic
##############################

结果显示：
（1）分区 0 的有 0,1,2 三个副本，且三个副本都是可用副本 都在 ISR(in-sync Replica 同步副本) 列表中
（2）其中 1 为首领副本，此时代表集群已经搭建成功。

C语言和c++生成动态链接库

####c语言有个函数test()
gcc hello.c -fPIC -shared -o libhello.so
######python
import ctypes
so = ctypes.CDLL("./libhello.so")
so.test()