Flink通过将sql 讲 hbase 的数据导入到Mysql中

最新推荐文章于 2024-01-18 02:11:18 发布
最新推荐文章于 2024-01-18 02:11:18 发布
阅读量676 收藏 2
点赞数
分类专栏： Flink 文章标签： hbase mysql flink
wudl
本文链接：https://blog.csdn.net/wudonglianga/article/details/121943096
版权

1. 场景， 将hbase 表中的数据导入到mysql 中

·官网参考·
https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html
https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/connectors/hbase.html

2. 需要添加的pom 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.wudlflink12</groupId>
    <artifactId>wudl-flink-12</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!-- 指定仓库位置，依次为aliyun、apache和cloudera仓库 -->
    <repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>apache</id>
            <url>https://repository.apache.org/content/repositories/snapshots/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>

            <repository>
                <id>spring-plugin</id>
                <url>https://repo.spring.io/plugins-release/</url>
            </repository>

    </repositories>

    <properties>
        <encoding>UTF-8</encoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <java.version>1.8</java.version>
        <scala.version>2.11</scala.version>
        <flink.version>1.12.0</flink.version>
    </properties>
    <dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>1.12.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc_2.11</artifactId>
            <version>1.10.3</version>
        </dependency>

        <!--依赖Scala语言-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.11</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- blink执行计划,1.11+默认的-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_2.12</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cep_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- flink连接器-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-kafka_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- <dependency>
           <groupId>org.apache.flink</groupId>
           <artifactId>flink-connector-filesystem_2.12</artifactId>
           <version>${flink.version}</version>
       </dependency>-->
        <!--<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>-->
        <!--<dependency>
              <groupId>org.apache.flink</groupId>
              <artifactId>flink-parquet_2.12</artifactId>
              <version>${flink.version}</version>
         </dependency>-->
        <!--<dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-avro</artifactId>
            <version>1.10.0</version>
        </dependency>-->


        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-streaming-java_2.11</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-runtime_2.11</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
<!--                <exclusion>-->
<!--                    <artifactId>flink-core</artifactId>-->
<!--                    <groupId>org.apache.flink</groupId>-->
<!--                </exclusion>-->
                <exclusion>
                    <artifactId>flink-java</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>2.1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>hadoop-hdfs</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop-2-uber</artifactId>
            <version>2.7.5-10.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
            <!--<version>8.0.20</version>-->
        </dependency>

        <!-- 高性能异步组件：Vertx-->
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-core</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-jdbc-client</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-redis-client</artifactId>
            <version>3.9.0</version>
        </dependency>

        <!-- 日志 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.7</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.44</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.2</version>
            <scope>provided</scope>
        </dependency>

        <!-- 参考：https://blog.csdn.net/f641385712/article/details/84109098-->
        <!--<dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-collections4</artifactId>
            <version>4.4</version>
        </dependency>-->
        <!--<dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
            <scope>provided</scope>
         </dependency>-->
        <!--<dependency>
           <groupId>com.google.guava</groupId>
           <artifactId>guava</artifactId>
           <version>28.2-jre</version>
       </dependency>-->


        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.1.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.3</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-api</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

3. 建表

3.1 mysql 建表

需要注意 建表的编码： utf8mb4


CREATE TABLE `wudlHbase` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(64) CHARACTER SET latin1 DEFAULT NULL,
  `address` varchar(64) CHARACTER SET latin1 DEFAULT NULL,
  `age` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
然后给列加编码： 
ALTER TABLE `wudlHbase` MODIFY NAME VARCHAR(64) CHARACTER SET utf8;
ALTER TABLE `wudlHbase` MODIFY id VARCHAR(64) CHARACTER SET utf8;
ALTER TABLE `wudlHbase` MODIFY address VARCHAR(64) CHARACTER SET utf8;
ALTER TABLE `wudlHbase` MODIFY age VARCHAR(64) CHARACTER SET utf8;
ALTER TABLE `wudlHbase` MODIFY NAME VARCHAR(20) CHARACTER SET utf8;

3.2 hbase 表结构

hbase(main):003:0> desc 'wudlHbase'
Table wudlHbase is ENABLED                                                                                                                                                 
wudlHbase                                                                                                                                                                  
COLUMN FAMILIES DESCRIPTION                                                                                                                                                
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOC
K_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_B
LOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}                                          
1 row(s)
Took 0.0686 seconds                                                                                                                                                        
hbase(main):004:0>

表数据

hbase(main):002:0> scan 'wudlHbase'
ROW                                      COLUMN+CELL                                                                                                           
 10000                                   column=cf:address, timestamp=1638633405738, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x810                               
 10000                                   column=cf:age, timestamp=1638633405738, value=10                                                                      
 10000                                   column=cf:name, timestamp=1638633405738, value=hdfs0                                                                  
 10001                                   column=cf:address, timestamp=1638633405741, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x811                               
 10001                                   column=cf:age, timestamp=1638633405741, value=11                                                                      
 10001                                   column=cf:name, timestamp=1638633405741, value=hdfs1                                                                  
 10002                                   column=cf:address, timestamp=1638633405743, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x812                               
 10002                                   column=cf:age, timestamp=1638633405743, value=12                                                                      
 10002                                   column=cf:name, timestamp=1638633405743, value=hdfs2                                                                  
 10003                                   column=cf:address, timestamp=1638633405746, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x813                               
 10003                                   column=cf:age, timestamp=1638633405746, value=13                                                                      
 10003                                   column=cf:name, timestamp=1638633405746, value=hdfs3                                                                  
 10004                                   column=cf:address, timestamp=1638633405748, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x814                               
 10004                                   column=cf:age, timestamp=1638633405748, value=14                                                                      
 10004                                   column=cf:name, timestamp=1638633405748, value=hdfs4                                                                  
 10005                                   column=cf:address, timestamp=1638633405750, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x815                               
 10005                                   column=cf:age, timestamp=1638633405750, value=15                                                                      
 10005                                   column=cf:name, timestamp=1638633405750, value=hdfs5                                                                  
 10006                                   column=cf:address, timestamp=1638633405752, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x816                               
 10006                                   column=cf:age, timestamp=1638633405752, value=16                                                                      
 10006                                   column=cf:name, timestamp=1638633405752, value=hdfs6                                                                  
 10007                                   column=cf:address, timestamp=1638633405753, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x817                               
 10007                                   column=cf:age, timestamp=1638633405753, value=17                                                                      
 10007                                   column=cf:name, timestamp=1638633405753, value=hdfs7                                                                  
 10008                                   column=cf:address, timestamp=1638633405755, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x818                               
 10008                                   column=cf:age, timestamp=1638633405755, value=18                                                                      
 10008                                   column=cf:name, timestamp=1638633405755, value=hdfs8                                                                  
 10009                                   column=cf:address, timestamp=1638633405757, value=\xE5\xB9\xBF\xE4\xB8\x9C\xE7\x9C\x819                               
 10009                                   column=cf:age, timestamp=1638633405757, value=19                                                                      
 10009                                   column=cf:name, timestamp=1638633405757, value=hdfs9                                                                  
10 row(s)
Took 0.1297 seconds

4. 代码实现：

package com.wudl.flink.source;

import com.wudl.flink.bean.HbaseUser;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.util.CloseableIterator;

import java.util.ArrayList;
import java.util.List;
import java.util.function.Consumer;

/**
 * @author ：wudl
 * @date ：Created in 2021-12-14 23:28
 * @description：
 * @modified By：
 * @version: 1.0
 */

public class HbaseSouce {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        TableResult tableResult = tableEnv.executeSql(
                "CREATE TABLE testWudlHbase (" +
                        " rowkey STRING," +
                        " cf ROW<name STRING,address STRING,age STRING>," +
                        " PRIMARY KEY (rowkey) NOT ENFORCED" +
                        " ) WITH (" +
                        " 'connector' = 'hbase-2.2' ," +
                        " 'table-name' = 'wudlHbase' ," +
                        " 'zookeeper.quorum' = '192.168.1.161:2181'" +
                        " )");

        TableResult outPutTable = tableEnv.executeSql("CREATE TABLE  MySqlwudlHbase (" +
                "id INT ," +
                "name STRING ," +
                "address STRING , " +
                "age INT " +
                ") " +
                "WITH (" +
                "'connector' = 'jdbc'," +
                "'url' = 'jdbc:mysql://192.168.1.180:3306/test?useUnicode=true&characterEncoding=UTF-8'," +
                "'table-name' = 'wudlHbase'," +
                " 'username' = 'root'," +
                " 'password' = '123456'" +
                " )");

//        tableEnv.executeSql(" SELECT  cast(rowkey as INT) id, cf.name name ,cf.address address , cast(cf.age as  BIGINT) age FROM testWudlHbase");
        tableEnv.executeSql(" insert into  MySqlwudlHbase SELECT  cast(rowkey as INT) id, cf.name name ,cf.address address , cast(cf.age as  INT) age FROM testWudlHbase");

5. 查看结果

在这里插入图片描述

6. 读取hbase 的数据：

package com.wudl.flink.source;

import com.wudl.flink.bean.HbaseUser;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.util.CloseableIterator;

import java.util.ArrayList;
import java.util.List;
import java.util.function.Consumer;

/**
 * @author ：wudl
 * @date ：Created in 2021-12-14 23:28
 * @description：
 * @modified By：
 * @version: 1.0
 */

public class HbaseSouce {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        TableResult tableResult = tableEnv.executeSql(
                "CREATE TABLE testWudlHbase (" +
                        " rowkey STRING," +
                        " cf ROW<name STRING,address STRING,age STRING>," +
                        " PRIMARY KEY (rowkey) NOT ENFORCED" +
                        " ) WITH (" +
                        " 'connector' = 'hbase-2.2' ," +
                        " 'table-name' = 'wudlHbase' ," +
                        " 'zookeeper.quorum' = '192.168.1.161:2181'" +
                        " )");

        TableResult outPutTable = tableEnv.executeSql("CREATE TABLE  MySqlwudlHbase (" +
                "id INT ," +
                "name STRING ," +
                "address STRING , " +
                "age INT " +
                ") " +
                "WITH (" +
                "'connector' = 'jdbc'," +
                "'url' = 'jdbc:mysql://192.168.1.180:3306/test?useUnicode=true&characterEncoding=UTF-8'," +
                "'table-name' = 'wudlHbase'," +
                " 'username' = 'root'," +
                " 'password' = '123456'" +
                " )");

//        tableEnv.executeSql(" SELECT  cast(rowkey as INT) id, cf.name name ,cf.address address , cast(cf.age as  BIGINT) age FROM testWudlHbase");
//        tableEnv.executeSql(" insert into  MySqlwudlHbase SELECT  cast(rowkey as INT) id, cf.name name ,cf.address address , cast(cf.age as  INT) age FROM testWudlHbase");
        // 相当于 scan
        Table table = tableEnv.sqlQuery("SELECT * FROM testWudlHbase");
        // 查询的结果
        TableResult executeResult = table.execute();
        // 获取查询结果
        CloseableIterator<Row> collect = executeResult.collect();
        // 输出 (执行print或者下面的 Consumer之后，数据就被消费了。两个只能留下一个)
//        executeResult.print();
        List<HbaseUser> hbaseUsers = new ArrayList<>();
        collect.forEachRemaining(new Consumer<Row>() {
            @Override
            public void accept(Row row) {
                String field0 = String.valueOf(row.getField(0));
                String cl = String.valueOf(row.getField(1));
                String[] hUser = cl.split(",");
                hbaseUsers.add(new HbaseUser(hUser[0].toString(),hUser[1].toString()));
            }
        });
        System.out.println("................");

        for(HbaseUser um : hbaseUsers){
            System.out.println(um);
        }
    }
}

查看结果：
在这里插入图片描述

wudl5566
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LarkMidTableWeb:基于flink的分布式数据分析系统
03-11
LarkMidTable 中文| Lark中文名称云雀，云代表大数据，雀代表平凡和自由。 LarkMidTable是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。 产品愿景 1.满足许多的小企业，提供一站式的解决方案。 2.创造世界等级，能够证明美BAT大厂的产品。 3.创造价值，产生价值，让世界变得更加美好。 产品效果图 产品架构图 产品功能 功能 功能特性 数据库类型 读取类型 写入类型 数据集成 批处理同步 MySQL的 支持 支持 PostgreSQL 支持 支持 Mongodb 支持 支持 SQL服务器 支持 支持 Oracle 支持 支持 SAPHana 支持 支持 ClickHouse 支持 支持 蜂巢 支持 HBase的 支持 支持 高清晰度电视 支持 支持 弹性搜索 酷度 雷迪斯 流处理同
flink-learning：flink学习博客。 http://www.54tianzhisheng.cn含Flink入门，概念，原理，实战，性能调优，子程序解析等内容。涉及Flink连接器，指标，库，DataStream API，表API和SQL等内容的学习案例，还有Flink落地应用的大型项目案例（PVUV，日志存储，百亿数据实时去重，监控细分）分享。欢迎大家支持我的专栏《大数据实时计算引擎Flink实战与性能优化》
02-03
Flink学习 麻烦路过的各位亲亲给这个项目点个star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！ 随着时间的推移观星人 本项目结构 如何建造 也许您的Maven conf文件settings.xml镜像可以添加aliyun中央镜像： < mirror> < id>alimaven</ id> < mirrorOf>central</ mirrorOf> < name>aliyun maven</ name> < url>https://maven.aliyun.com/repository/central</ url> </ mirror>
Flink 实践教程-进阶（1）：维表关联
cloudbigdata的博客
12-04 679
Flink 维表关联？ so easy
flink SQL与hbase整合
m0_37592814的博客
12-02 4923
一、前言 flink sql 与hbase 整合 主要实现：flink sql 客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql表，kafka表作为source hive表 sql语句加工作为算子 hbase表、mysql表作为sink表 1.flink sql 客户端中能读取hbase shell 写入的数据 2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取 flink ..
实操 | Flink1.12.1通过Table API / Flink SQL读取HBase2.4.0
微信搜：import_bigdata，大数据领域硬核原创作者
04-23 920
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源昨天群里有人问 Flink 1.12 读取Hbase的问题，于是看到这篇文章分享给大家。本文作者Ashiamd。1. 环境废话不多...
flink-connector-base-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-connector-base-1.13.2.jar； 赠送原API文档：flink-connector-base-1.13.2-javadoc.jar； 赠送源代码：flink-connector-base-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-connector-base-1.13.2.pom； 包含翻译后的API文档：flink-connector-base-1.13.2-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-connector-base:1.13.2； 标签：apache、flink、connector、base、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
flink-cdc同步mysql数据到hbase
大数据技术派
09-29 1239
本文首发于我的个人博客网站：https://www.ikeguang.com什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。Flink_CDC1. 环境准备mysq...
Apache NiFi之MySQL数据同步到HBase
微信公众号：大数据从业者
01-04 189
一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用，在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).选择ExecuteSQLRecord 在Processor中搜索ExecuteSQLRecord b).配置ExecuteSQLRecord 1.创建Database...
Flink1.2.1通过Table API / Flink SQL读取HBase2.4.0
Ashiamd的博客
02-11 606
最近需要整一个推荐系统，学了下Flink，整合HBase出了很多怪问题<= 主要还是Hadoop生态各种组件组合时的配置文件配置不熟悉。 1. 环境 废话不多说，这里用到的环境如下（不确定是否都必要，但是至少我是这个环境） zookeeper 3.6.2 Hbase 2.4.0 Flink 1.2.1 2. HBase表 # 创建表 create 'u_m_01' , 'u_m_r' # 插入数据 put 'u_m_01', 'a,A', 'u_m_r:r' , '1' put .
Flink的HBase连接器与查询器
最新发布
禅与计算机程序设计艺术
01-18 978
1.背景介绍 Flink是一种流处理框架，可以处理大规模数据流，实现实时计算和数据分析。HBase是一个分布式、可扩展的列式存储系统，基于Google的Bigtable设计。Flink和HBase之间的集成可以实现流处理和存储的高效结合，提高数据处理能力。本文将介绍Flink的HBase连接器与查询器，涉及其背景、核心概念、算法原理、代码实例和未来发展趋势。 1.1 Flink的HBase连接...
基于flink的电商实时数据分析、推荐、风控项目java源码+项目使用说明.zip
05-31
项目本身是基于Flink+ClickHouse的Lambda架构，使用drools规则引擎，基于Spring boot+Vue构建规则的管理系统（还在构建中，支持规则、模板、策略、黑白名单等的增删改查），并能基于模板引擎Beetl生成动态SQL，并...
附录3：Flink方案设计.pdf
12-25
数据存储层 这⾥是我们的实时数据存储层，存储层除了传统 MySQL 等存储引擎以外，还会根据场景数据的不同存储在 Redis、HBase、OLAP 中。⽽ 这⼀层我个⼈认为最重要的技术选型则是 OLAP。OLAP 的技术选型直接制约着...
demo:记录日常学习过程中使用到的语言及工具
03-20
kafka / redis / es / mysql 20210313添加netty的demo 20210308添加HBase操作相关的Demo 20210303添加Flink操作的Demo 20210228添加HBase操作的演示添加JVM GC日志操作Demo 20210119添加java相关实例：java8并发包...
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
wudonglianga的专栏
02-20 7845
1.架构图 2.实现实例 2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中 2.2 实现思路 1.在flinksql 中创建flink cdc 表 2.创建视图(用两张表关联后需要的列的结果显示为一张速度) 3.创建输出表，关联Hudi表，并且自动同步到Hive表 4.查询视图数据，插入到输出表 -- flink 后台实时执行 2.3pom 文件需要的类 <?xml version="1.0" encoding="UTF
Flink将数据写入到hdfs中
wudonglianga的专栏
12-27 7827
1. 场景 随机产生数据然后将产生的数据写入到hdfs 中。 2. 随机数据源 代码： package com.wudl.flink.hdfs.source; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple4; import org.apache.flink.streaming.api.functions.source.SourceFunction; import jav
flink cdc 整合 数据湖hudi 同步 hive
wudonglianga的专栏
02-18 5450
1. 版本说明 组件 版本 hudi 10.0 flink 13.5 hive 3.1.0 2. 实现效果 通过flink cdc 整合 hudi 到hive flink cdc 讲解 flink cdc 1.2实例 flink cdc 2.0 实例
DolphinScheduler 调用flink以及api的 使用
wudonglianga的专栏
07-25 4578
1.ds 调用flink 的使用 官方文档连接 ：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/quick-start.html 2. 首先可以创建队列 作为程序调用的时候作为队列使用， 创建后不能删除。 3. 创建租户 1.租户对应的是linux 用户, 用户worker 提交作业所使用的的用户， 如果linux 没有这个用户， worker 会在执行脚本的时候创建这个用户 2.租户和租户编码都是唯一不能重复，好比一个人有名
Flink 的侧输出 和一个流拆分成多个流
wudonglianga的专栏
11-28 4077
1. Flink 侧输出流 官网 ：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/side_output/ 1.1 理解 侧输出流就是将问题数据或者 不符合条件的数据进行输出到数据库中或者打印出来， 就形成一个正确的流和一个不符合条件的流。 1.2 实例 案例： 判断 输入的字符串是否等于 "big" 如果等于big 就输入到 主输出流 否则将抛出异常 package com
DolphinScheduler-api 的调用
wudonglianga的专栏
07-25 3928
1. DS 的api 调用 1.1 参考资料 1.对应的api 接口文档： http://192.168.1.163:12345/dolphinscheduler/doc.html 2. 查看源码：https://github.com/apache/dolphinscheduler (找到对应的版本下载) 2.api 调用： 3. 参数解释 key value 解释 executeType REPEAT_RUNNING NONE,REPEAT_RUNNING, RECOVER_SUS
flinksql hbase 维表
08-02
FlinkSQL中如何关联Hbase大表，如果关联字段不是Hbase维表的rowkey，将会触发全表扫描。FlinkSQL的Hbase connector不会处理索引，所以我们可以采用自己维护索引表的方式来解决这个问题。具体实现方式可以参考Hbase二...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值