大数据zookeeper+hadoop+flink+kafka+canal应用

最新推荐文章于 2023-06-10 16:09:46 发布
最新推荐文章于 2023-06-10 16:09:46 发布
阅读量355 收藏
点赞数
文章标签： 大数据 kafka hadoop java flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012594177/article/details/130636994
版权

大数据集群部署zookeeper+hadoop+flink+kafka+canal及flink应用Demo

准备工作

服务器准备

IP主机名系统组件
192.168.213.131node1CentOS Linux release 7.5Zookeeper+hadoop (master)+flink+kafka (master)+canal
192.168.213.132node2CentOS Linux release 7.5Zookeeper+hadoop (slave)+flink+kafka (slave)
192.168.213.133node3CentOS Linux release 7.5Zookeeper+hadoop (slave)+flink+kafka (slave)

设置主机名

分别修改每台主机名称为：node1，node2，node3
然后配置hosts，具体内容如下：

[root@node1 ~]# echo 'node1' > /etc/hostname
[root@node1 ~]# vim /etc/hosts
192.168.213.131    node1
192.168.213.132    node2
192.168.213.133    node3

免密设置

分别在每台主机上生成ssh密钥：

[root@node1 ~]#  ssh-keygen -t rsa

分别copy密钥到每台主机上：

[root@node1 ~]#  ssh-copy-id node1
[root@node1 ~]#  ssh-copy-id node2
[root@node1 ~]#  ssh-copy-id node3
[root@node1 ~]#  scp ~/.ssh/authorized_keys node2:~/.ssh/
[root@node1 ~]#  scp ~/.ssh/authorized_keys node3:~/.ssh/

关闭防火墙和关闭selinux

分别关闭每台主机防火墙

[root@node1 ~]# systemctl stop firewalld && systemctl disable firewalld
[root@node1 ~]# swapoff -a && sed -i ‘/ swap / s/^(.)$/#\1/g’ /etc/fstab
[root@node1 ~]# setenforce 0 && sed -i 's/^SELINUX=./SELINUX=disabled/’ /etc/selinux/config

创建用户

分别为每台主机创建hadoop用户

[root@node1 ~]# adduser hadoop
[root@node1 ~]# usermod -g root hadoop
[root@node1 ~]# passwd hadoop

hadoop用户免密登录

分别在每台主机上生成ssh密钥：

[root@node1 ~]# su - hadoop 
[hadoop@node1 ~]#  ssh-keygen -t rsa

分别copy密钥到每台主机上：

[hadoop@node1 ~]#  ssh-copy-id node1
[hadoop@node1 ~]#  ssh-copy-id node2
[hadoop@node1 ~]#  ssh-copy-id node3
[hadoop@node1 ~]#  scp ~/.ssh/authorized_keys node2:~/.ssh/
[hadoop@node1 ~]#  scp ~/.ssh/authorized_keys node3:~/.ssh/

环境搭建

安装java环境(root用户)

切换到root用户，分别在每台主机安装java环境，采用yum安装，选择devel版本，

[hadoop@node1 ~]# su root
[root@node1 ~]# yum search java-1.8.0
[root@node1 ~]# yum install -y  java-1.8.0-openjdk-devel.x86_64
[root@node1 ~]# java -version
[root@node1 ~]# vim /etc/profile

分别在配置环境变量，采用scp同步环境变量配置

[root@node1 ~]# vim /etc/profile
# JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
[root@node1 ~]#  soure /etc/profile
[root@node1 ~]#  scp /etc/profile node2:/etc/profile
[root@node1 ~]#  ssh node2 soure /etc/profile
[root@node1 ~]#  scp /etc/profile node3:/etc/profile
[root@node1 ~]#  ssh node3 soure /etc/profile

安装Zookeeper3.6.4(hadoop用户)

采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/

  1. 下载解压后重命名为zookeeper
[hadoop@node1 ~]# wget https://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
[hadoop@node1 ~]# tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
[hadoop@node1 ~]# mv apache-zookeeper-3.6.4-bin zookeeper
  1. 将/home/hadoop/zookeeper/conf/ 路径下的 zoo_sample.cfg 修改为 zoo.cfg；
[hadoop@node1 ~]# cp zookeeper/conf/zoo_sample.cfg zookeeper/conf/zoo.cfg
  1. 修改 zoo.cfg 文件配置
[hadoop@node1 ~]# vim zookeeper/conf/zoo.cfg 
# 修改数据保存位置
dataDir=/home/hadoop/zookeeper/tmp
# 添加集群节点
server.1=node1:2888:3888
server.2=node1:2888:3888
server.3=node1:2888:3888
  1. 创建数据目录及myid（每台的配置myid不同，请自行修改）
[hadoop@node1 ~]# mkdir zookeeper/tmp
[hadoop@node1 ~]# vim mkdir zookeeper/tmp/myid
# myid 集群中每台配置的id值不能相同
1
  1. 同步应用到其他主机
[hadoop@node1 ~]# scp -r zookeeper node2:~/
[hadoop@node1 ~]# scp -r zookeeper node3:~/
  1. 启动服务(每台设备执行)
[hadoop@node1 ~]#  ./zookeeper/bin/zkServer.sh start
[hadoop@node1 ~]#  ssh node2
[hadoop@node2 ~]#  echo '2' > zookeeper/tmp/myid
[hadoop@node2 ~]#  ./zookeeper/bin/zkServer.sh start
[hadoop@node2 ~]#  exit
[hadoop@node1 ~]#  ssh node3
[hadoop@node3 ~]#  echo '3' > zookeeper/tmp/myid
[hadoop@node3 ~]#  ./zookeeper/bin/zkServer.sh start
  1. 查看进程是否启动
[hadoop@node1 ~]#  jps
4020 Jps
4001 QuorumPeerMain
  1. 查看状态
[hadoop@node1 ~]#  ./zookeeper/bin/zkServer.sh status

安装hadoop2.10.1(hadoop用户)

采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/

  1. 下载解压后重命名为zookeeper
[hadoop@node1 ~]# wget https://mirrors.aliyun.com/apache/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
[hadoop@node1 ~]# tar -zxvf hadoop-2.10.1.tar.gz
[hadoop@node1 ~]# mv hadoop-2.10.1 hadoop
  1. 创建数据储存目录
[hadoop@node1 ~]# mkdir -p hadoop/hdfs/tmp
[hadoop@node1 ~]# mkdir -p hadoop/hdfs/name
[hadoop@node1 ~]# mkdir -p hadoop/hdfs/data
  1. 修改配置文件
[hadoop@node1 ~]# vim hadoop/etc/hadoop/core-site.xml
<property>
	<name>hadoop.tmp.dir</name>
	<value>file:/home/hadoop/hadoop/hdfs/tmp</value>
</property>
<property>
	<name>io.file.buffer.size</name>
	<value>131072</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node1:9000</value>
</property>
[hadoop@node1 ~]# vim hadoop/etc/hadoop/hdfs-site.xml
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/home/hadoop/hadoop/hdfs/name</value>
	<final>true</final>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/home/hadoop/hadoop/hdfs/data</value>
	<final>true</final>
</property>
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node1:9001</value>
</property>
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
  1. 添加java环境变量
[hadoop@node1 ~]# vim hadoop/etc/hadoop/hadoop-env.sh
# 添加java环境变量
export JAVA_HOME=/usr/lib/jvm/java
[hadoop@node1 ~]# vim hadoop/etc/hadoop/yarn-env.sh
# 添加java环境变量
export JAVA_HOME=/usr/lib/jvm/java
[hadoop@node1 ~]# vim hadoop/etc/hadoop/slaves
# 从主机地址，新版文件名为works
node2
node3
  1. 同步应用到其他主机
[hadoop@node1 ~]# scp -r hadoop node2:~/
[hadoop@node1 ~]# scp -r hadoop node3:~/
  1. 添加环境变量（切换root用户）
[hadoop@node1 ~]# su root
[root@node1 ~]# vim /etc/profile
# HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
[root@node1 ~]# soure /etc/profile
[root@node1 ~]# scp /etc/profile node2:~/etc/profile
[root@node1 ~]# ssh node2 soure /etc/profile
[root@node1 ~]# scp /etc/profile node3:~/etc/profile
[root@node1 ~]# ssh node3 soure /etc/profile
  1. 启动服务
[hadoop@node1 ~]# hadoop namenode -format
[hadoop@node1 ~]# mr-jobhistory-daemon.sh start historyserver
[hadoop@node1 ~]# start-all.sh
#查看数据节点情况
[hadoop@node1 ~]# hadoop dfsadmin -report
  1. 停止服务（选用）
[hadoop@node1 ~]# stop-all.sh

安装flink(hadoop用户)

  1. 下载解压后重命名为flink
[hadoop@node1 ~]# wget https://mirrors.aliyun.com/apache/flink/flink-1.12.5/flink-1.12.5-bin-scala_2.12.tgz
[hadoop@node1 ~]# tar -xvf flink-1.12.5-bin-scala_2.12.tgz
[hadoop@node1 ~]# mv flink-1.12.5-bin-scala_2.12 flink
  1. 配置flink-conf.yml
[hadoop@node1 ~]# vim fink/conf/flink-conf.yml
jobmanager.rpc.address: node1
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: node1:2181,node1:2181,node1:2181
taskmanager.numberOfTaskSlots: 2 #等于cpu个数
  1. 配置masters和slaves
[hadoop@node1 ~]# vim fink/conf/masters
master:8081
[hadoop@node1 ~]# vim fink/conf/slaves
node2
node3
  1. 拷贝到其他机器
[hadoop@node1 ~]# scp -r fink node2:~/
[hadoop@node1 ~]# scp -r fink node3:~/
  1. 每个节点启动服务
[hadoop@node1 ~]# ./flink/bin/start-cluster.sh
[hadoop@node2 ~]# ./flink/bin/start-cluster.sh
[hadoop@node3 ~]# ./flink/bin/start-cluster.sh
  1. 访问服务及应用测试
    游览器访问：http://192.168.213.131:8081/
    使用 submit new job 功能上传案列： flink/examples/streaming/wordCount.jar

安装kafka(hadoop用户)

  1. 下载解压后重命名为kafka
[hadoop@node1 ~]# wget https://mirrors.aliyun.com/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz
[hadoop@node1 ~]# tar -xvf kafka_2.12-3.0.0.tgz
[hadoop@node1 ~]# mv kafka_2.12-3.0.0 kafka
  1. 配置server.properties
[hadoop@node1 ~]# vim kafka/conf/server.properties
#从1开始，每个节点一个值，不能重复
broker.id=1 
log.dirs=/home/hadoop/kafka/logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
#机器数量
num.parititions=3
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://node1:9092
  1. 拷贝到其他机器
[hadoop@node1 ~]# scp -r kafka node2:~/
[hadoop@node1 ~]# scp -r kafka node3:~/
  1. 每个节点启动服务
[hadoop@node1 ~]# ./kafka/bin/kafka-server-start.sh -daemon ./kafka/config/server.properties
[hadoop@node2 ~]# ./kafka/bin/kafka-server-start.sh -daemon ./kafka/config/server.properties
[hadoop@node3 ~]# ./kafka/bin/kafka-server-start.sh -daemon ./kafka/config/server.properties
  1. 停止服务（选用）
[hadoop@node1 ~]# ./kafka/bin/kafka-server-stop.sh
  1. 创建和查询节点
[hadoop@node1 ~]# ./kafka/bin/kafka-topics.sh --bootstarp-server node1:9092 --topic --create zljd
[hadoop@node1 ~]# ./kafka/bin/kafka-topics.sh --bootstarp-server node1:9092 --topic --list

安装canal(hadoop用户)

  1. 修改mysql配置开启log-bin并重启服务
[hadoop@node1 ~]# vim /etc/my.conf
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
  1. 下载解压为canal
[hadoop@node1 ~]# wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
[hadoop@node1 ~]# mkdir canal
[hadoop@node1 ~]# tar -zxvf canal.deployer-1.1.5.tar.gz -C canal
  1. 修改全局配置canal.properties
[hadoop@node1 ~]# vim canal/conf/canal.properties
#运行模式，默认tcp，支持kafka、mq等
canal.serverMode = kafka
  1. 修改实例配置canal.properties
[hadoop@node1 ~]# vim canal/conf/example/instance.properties
#数据库地址及账号密码
canal.instance.dbUsername=root
canal.instance.dbPassword=zwp123456+
canal.instance.master.address=node1:3306
#kafka节点名称
canal.mq.topic=zljd
  1. 启动服务
[hadoop@node1 ~]# ./canal/bin/startup.sh
  1. 停止服务
[hadoop@node1 ~]# ./canal/bin/stop.sh

canal+flink应用demo

官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.12

  1. 使用maven快速构建应用，修改DarchetypeVersion为指定1.12.5版本
mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.5 -DgroupId=com.zwp -DartifactId=flink-java -Dversion=1.0 -Dpackage=com.zwp
  1. 修改pom.xml支持kafka和mysql
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
	<version>${flink.version}</version>
</dependency>
<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>8.0.31</version>
</dependency>
<dependency>
	<groupId>com.alibaba.otter</groupId>
	<artifactId>canal.protocol</artifactId>
	<version>1.1.6</version>
</dependency>
  1. 修改StreamingJob.java入口文件方法
public static void main(String[] args) throws Exception {
    // 1.获取运行环境
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    // 2.配置kafka连接
	Properties properties = new Properties();
	properties.setProperty("bootstrap.servers", "node1:9092");
	properties.setProperty("group.id", "flink");
	FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>("zljd", new SimpleStringSchema(), properties);
	DataStream<String> stream = env.addSource(kafkaConsumer);
    // 3.配置接收kafka消息的mysql处理sink
	stream.addSink(new MysqlSink());
	// execute program
	env.execute("Flink Streaming Java API Skeleton");
}
  1. 新增mysql处理任务MysqlSink.java
package com.lzm.sink;

import com.alibaba.fastjson2.JSON;
import com.alibaba.otter.canal.protocol.FlatMessage;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.List;
import java.util.Map;

public class MysqlSink extends RichSinkFunction<String> {

    private Connection connection;
    private PreparedStatement preparedStatement;

    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        // 加载数据库驱动
        Class.forName("com.mysql.cj.jdbc.Driver");
        // 获取连接
        connection = DriverManager.getConnection("jdbc:mysql://node1:3306/zljd", "root", "zwp2018");
    }

    @Override
    public void close() throws Exception {
        super.close();
        if (connection != null) {
            connection.close();
        }
    }

    @Override
    public void invoke(String message, Context context) throws Exception {
        try {
            System.out.println("FlatMessage:"+message);
            FlatMessage value = null;
            if (JSON.isValid(message)){
                value = JSON.parseObject(message, FlatMessage.class);
            }
            if(value == null || !"zljd".equals(value.getDatabase()) || !"zljk_bd_check_unit_ability".equals(value.getTable())){
                return;
            }
            List<Map<String, String>> data = value.getData();
            List<Map<String, String>> old = value.getOld();
            // 拼接SQL, 执行SQL
            switch (value.getType()){
                case "INSERT":
                    preparedStatement = connection.prepareStatement("INSERT INTO zljk_bd_check_unit (id, ability) VALUES (?, ?)");
                    preparedStatement.setString(1, data.get(0).get("id"));
                    preparedStatement.setString(2, data.get(0).get("ability"));
                    preparedStatement.executeUpdate();
                    break;
                case "UPDATE":
                    preparedStatement = connection.prepareStatement("UPDATE zljk_bd_check_unit SET id=?,ability=? WHERE id=?");
                    String id = data.get(0).get("id");
                    if(old != null && old.size() > 0 && old.get(0).get("id") != null){
                        id = old.get(0).get("id");
                    }
                    preparedStatement.setString(1, data.get(0).get("id"));
                    preparedStatement.setString(2, data.get(0).get("ability"));
                    preparedStatement.setString(3, id);
                    preparedStatement.executeUpdate();
                    break;
                case "DELETE":
                    preparedStatement = connection.prepareStatement("DELETE FROM zljk_bd_check_unit WHERE id=?");
                    preparedStatement.setString(1, data.get(0).get("id"));
                    preparedStatement.executeUpdate();
                    break;
                default:
            }
            if (preparedStatement != null) {
                preparedStatement.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
  1. 打包flink应用
    修改pom.xml文件，注释scope使用mvn打包为jar包：
    clean+compile+package
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-java</artifactId>
	<version>${flink.version}</version>
	<!--<scope>provided</scope>-->
</dependency>
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
	<version>${flink.version}</version>
	<!--<scope>provided</scope>-->
</dependency>
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-clients_${scala.binary.version}</artifactId>
	<version>${flink.version}</version>
	<!--<scope>provided</scope>-->
</dependency>
  1. 上传jar包到flink运行
如图解放以后
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据Hadoop3.1.3——Zookeeper集群分布式搭建
caron的博客
04-24 770
1 分布式安装部署 1）集群规划 在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。 2）解压安装 （1）在hadoop101解压Zookeeper安装包到/opt/module/目录下 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ 3）配置服务器编号 （1）在/opt/module/zookeepe...
大数据系列（hadoop） Hadoop+Zookeeper 3节点高可用集群搭建
weixin_34174132的博客
10-29 268
---恢复内容开始--- 一、集群规划 主机名 ip NameNode DataNode　 Yarn ZooKeeper JournalNode node01 192.168.1.201 是 是 否 是 是 node02 192.168.1.202 是 是 否 是 是 node03 192.168.1.203 否...
配套安装：Hadoop 3.1.3Zookeeper3.5.7Hbase2.2.0
m0_54035843的博客
12-06 1577
一、文件解压 cd /opt/module/ tar -zxvf hbase-2.2.0-bin.tar.gz 二、修改启动变量 系统环境增加 vi /etc/profile export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH:$HBASE_HOME/bin 保存系统环境变量：source /etc/profile 修改hbase变量 cd /opt/module/hbase-2.2.0/conf/ vi..
Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）
AcWare 学习笔记
02-06 5476
基本信息：Centos-7.9、Java-1.8、Python-3.9、Scala-2.12、Hadoop-3.2.1、Spark-3.1.2、Flink-1.13.1、Hive-3.1.3、Zookeeper-3.8.0、Kafka-3.2.0、Nginx-1.23.1 目录一、相关文件下载地址二、虚拟机基础配置三、语言环境安装1. Java 环境安装2. Python 环境安装3. Scala 环境安装四、大数据组件安装1. Hadoop 集群安装2. MySQL 安装3. Spark 安装4. F
Hadoop3.1.3:安装zookeeper
qq_42967961的博客
06-07 1152
首先进到/opt/software/目录下，使用命令下载zookeeper包 wget https://ftp.jaist.ac.jp/pub/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 解压：tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 移动至module文件夹 mv apache-zookeeper-3.6.3-bin/ /opt/module/apache-zookee
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）
06-24
大数据 hadoop spark hbase ambari全套视频教程（购买的付费视频）
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
zookeeper+hadoop+hbase.rar
06-21
【标题】"zookeeper+hadoop+hbase.rar" 提供了一个集成的大数据处理环境，其中包含了三个关键组件：Zookeeper、Hadoop和HBase。这些组件在大数据生态系统中扮演着重要角色，尤其对于分布式存储和计算。 【Zookeeper...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装过程中出现的问题
weixin_43487121的博客
12-18 518
1、hadoop和Zookeeper安装均没有什么问题 2、hbase安装出现的问题 1、hbase日志 2019-12-13 10:17:32,133 INFO [PEWorker-2] master.SplitLogManager: dead splitlog workers [localhost,16020,1576054070166] 2019-12-13 10:17:32,137 IN...
zookeeper集群、kafka集群、Hadoop高可用
李俊的博客
09-02 1959
一、zookeeper集群 1.1 zookeeper概述 1.1.1 什么是zookeeper ZooKeeper是一个分布式的协调服务 1.1.2 ZooKeeper能干什么 ZooKeeper是用来保证数据在集群间的事务性一致 1.1.3 zookeeper 应用场景 1. 集群分布式锁 2. 集群统一命名服务 3. 分布式协调服务 1.2 zookeeper 角色与特性...
zookeeper、kafka、高可用的hadoop
f5500的博客
03-31 233
一、zookeeper的概念 zookeeper是一个开源的分布式应用程序协调服务 zookeeper是用来保证数据在集群间的事务一致性 zookeeper角色与特性： leader：接受所有Follower的提案请求并同一协调发起提案的投票，负责与所有的Follower进行内部数据交互 Follower：直接为客户端服务并参与提案的投票，同时与leader进行数据交换 Observer：直接为客...
基于zookeeper-3.5.5安装hadoop-3.1.2
一见
11-02 1442
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装步骤 4 4. 下载安装包 4 5. 机器规划 4 6. 设置批量操作参数 5 7. 环境准备 5 7.1. 修改最大可打开文件数 5 7.2. 修改OOM相关参数 6 7.3. 免密码登录设置 6 7.4. 修改主机名 6 7.4.1. 临时修改主机名 6 7.4.2. 永久修改主机名 7 7.4.3. 批...
Flink连接Zookeeper消费Kafka数据
zxlove
08-06 2470
废话不多说，直接上代码片段，示例代码（scala版本）： val env = StreamExecutionEnvironment.getExecutionEnvironment // kafka 配置 val ZOOKEEPER_HOST = "host:prot" val KAFKA_BROKERS = "host:port" val TRANSAC...
Flink 1.17.0集群搭建
最新发布
QYHuiiQ
06-10 2628
修改hadoop02和hadoop03的conf/flink-conf.yaml中的taskmanager.host，改为当前各自的主机名。修改conf/flink-conf.yaml（从flink1.16版本开始，需要修改以下配置）然后将hadoop01节点上的flink包分发至hadoop02和hadoop03。修改conf/workers（将三台TaskManager节点加进来）修改conf/masters（将JobManager节点加进来）
基于canal+kafka+flink实现实时增量同步4：kafka消息入库到MySQL功能演示
RuiKe的博客
05-26 939
一、新建三个表 （1）主表user_id。它包含有主键user_id CREATE TABLE `user_id` ( `user_id` int(11) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `age` int(11) DEFAULT NULL, `user_info_id` int(11) DEFAULT NULL, PRIMARY KEY
（一）Flink+Zookeeper+Kafka 安装
weixin_44909868的博客
06-11 1369
Flink的安装使用（一）一、Flink的下载安装1、Windows安装2、Linux安装二、Kafka的下载安装 一、Flink的下载安装 下载地址：https://flink.apache.org/downloads.html 下载版本：flink-1.9.1-bin-scala_2.11.tgz 1、Windows安装 下载后解压到 D:\flink\flink-1.9.1 目录 执行 bin 目录下的 start-cluster.bat 文件启动 Flink 访问 http://localh
本地docker安装zookeeper,kafka,flink
a724952091的博客
03-31 599
首先 安装zookeeper 这里zookeeper的安装是为了去使用kafka 这里我们安装的是wurstmeister 的kafka 和zookeeper镜像 也是在hub.docker.com网站上，Star最多的kafka镜像 直接在cmd执行run命令（前提是有本地docker。。。） 第一次使用 因为本地没有此镜像会去下载 docker run -d --name zooke...
CDH3U0环境下Hadoop+ZooKeeper+HBase分布式集群搭建指南
ZooKeeper是Apache的一个分布式协调服务，它管理着Hadoop和HBase等分布式应用的配置信息、命名服务、分布式同步和组服务。在集群中，Zookeeper通常作为独立的服务运行，以确保服务的稳定性和高可用性。文档建议使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值