vertica 实时消费kafka 例子

已于 2024-05-11 15:22:12 修改
阅读量537 收藏 2
点赞数
分类专栏： vertica 文章标签： kafka linq 分布式
于 2020-05-21 17:29:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014384314/article/details/106262629
版权

1.提前在vertica种建立好相关对接kafka json数据的表

CREATE TABLE public.res_time_space
(
    record_id varchar(255) NOT NULL,
    object_id varchar(255),
    object_type int NOT NULL,
    snap_time int,
    channel_id varchar(80),
    device_id varchar(80),
    device_name varchar(80),
    tollgate_id varchar(80),
    longitude float,
    latitude float,
    image_url varchar(255),
    close_image_url varchar(255),
    distant_image_url varchar(255),
    direction int,
    speed float,
    lane int,
    event_id varchar(128),
    event_type varchar(64),
    ods_time int,
    address varchar(255),
    date_time date NOT NULL,
    s2_13 int,
    s2_15 int,
    s2_17 int,
    s2_19 int,
    type_date int NOT NULL,
    hour_time int
)
PARTITION BY (res_time_space.type_date);

res_time_space_kafka_vertica.sh

# 安装kafka插件（初始化）
#su - dbadmin
#cd /opt/vertica/packages/kafka/ddl
#vsql -U dbadmin -w dbadmin -d viid -f install.sql
#-----------------------------------------------------------------
config_schema=res_time_space
dbhost=192.168.108.64
dbusername=dbadmin
dbpassword=dbadmin
frame_duration='00:00:10'
eof_timeout_ms=3000
operator=dbadmin
kafka_hosts=192.168.108.126:9092
kafka_topic=res_time_space
kakfa_partitions=1
target_schema=public
target_table=res_time_space
# Vertica 8.1.0+
kafka_config=" --config-schema ${config_schema} --dbhost ${dbhost} --username ${dbusername} --password ${dbpassword}"
 
# shutdown instance
/opt/vertica/packages/kafka/bin/vkconfig shutdown --instance-name ${config_schema}_instance ${kafka_config}
echo "Shutdown Instance Complete!"
# truncate table
#$VSQL <<- EOF
#drop schema ${config_schema}_instance cascade;
#truncate table public.stranger_event;
#EOF
 
# Create and Configure Scheduler
/opt/vertica/packages/kafka/bin/vkconfig scheduler --create --add ${kafka_config} --frame-duration ${frame_duration} --eof-timeout-ms ${eof_timeout_ms} --operator ${operator}
echo "Create and Configure Scheduler Complete!"
 
# Create a Cluster
/opt/vertica/packages/kafka/bin/vkconfig cluster --create --cluster ${config_schema}_cluster --hosts ${kafka_hosts} ${kafka_config}
echo "Create Cluster Complete!"
 
# Create a Data Table
 
# Create a Source
/opt/vertica/packages/kafka/bin/vkconfig source --create --source ${kafka_topic}  --cluster ${config_schema}_cluster --partitions ${kakfa_partitions} ${kafka_config}
echo "Create Kafka Source Complete!"
 
# Create a Target
/opt/vertica/packages/kafka/bin/vkconfig target --create --target-schema ${target_schema} --target-table ${target_table} ${kafka_config}
echo "Create Target Complete!"
 
# Create a Load-Spec
/opt/vertica/packages/kafka/bin/vkconfig load-spec --create --load-spec load_spec_${config_schema} --parser KafkaJSONParser --parser-parameters flatten_arrays=False,flatten_maps=False ${kafka_config}
#/opt/vertica/packages/kafka/bin/vkconfig load-spec --create --load-spec load_date_dimension_spec --parser KafkaJSONParser --filters "FILTER KafkaInsertDelimiters(delimiter=E'\n')" ${kafka_config}
 
echo "Create Load-Spec Complete!"
 
# Create a Microbatch
/opt/vertica/packages/kafka/bin/vkconfig microbatch --create --microbatch ${kafka_topic} --target-schema ${target_schema} --target-table ${target_table} --rejection-schema ${target_schema} --rejection-table ${target_table}_rej --load-spec load_spec_${config_schema} --add-source ${kafka_topic} --add-source-cluster ${config_schema}_cluster ${kafka_config}
echo "Create Microbatch Complete!"
 
# Launch the Scheduler
/opt/vertica/packages/kafka/bin/vkconfig launch --instance-name load_spec_${config_schema} ${kafka_config} &
echo "Launch the Scheduler Complete!"
echo "Done!"
 

-- 资源池操作
CREATE RESOURCE POOL custom_pool MEMORYSIZE '10%' PLANNEDCONCURRENCY 1 QUEUETIMEOUT 0;

SELECT name, memorysize, maxmemorysize FROM V_CATALOG.RESOURCE_POOLS;
SELECT name, memorysize, maxmemorysize, priority, maxconcurrency
    FROM V_CATALOG.RESOURCE_POOLS where is_internal ='t';
   --  PRIORITY值越大优先级越高，可以存着负值
ALTER RESOURCE POOL custom_pool PRIORITY 5;
  
DROP RESOURCE POOL custom_pool;

完整版：

# 安装kafka插件（初始化）
#su - dbadmin
#cd /opt/vertica/packages/kafka/ddl
#vsql -U dbadmin -w dbadmin -d viid -f install.sql
#-----------------------------------------------------------------
scheduler_name=res_time_space
dbhost=192.168.108.64
dbusername=dbadmin
dbpassword=dbadmin
frame_duration='00:00:10'
# 如果COPY命令在eof-timeout-ms间隔内未收到任何消息，则Vertica会通过结束该COPY语句来进行响应
eof_timeout_ms=3000
operator=dbadmin
kafka_hosts=192.168.108.126:9092
kafka_topic=res_time_space
kakfa_partitions=1
kafka_consumer_group_id=res_time_space_group
target_schema=public
target_table=res_time_space
# Vertica 8.1.0
kafka_config=" --config-schema ${scheduler_name} --dbhost ${dbhost} --username ${dbusername} --password ${dbpassword}"
 
# shutdown instance
/opt/vertica/packages/kafka/bin/vkconfig shutdown --instance-name load_spec_${scheduler_name} ${kafka_config}
echo "Shutdown Instance Complete!"
# truncate table
#$VSQL <<- EOF
#drop schema ${scheduler_name}_instance cascade;
#truncate table public.stranger_event;
#EOF
# 创建专用资源池 
# 将PLANNEDCONCURRENCY设置为略高于主题数是一个好习惯。较高的PLANNEDCONCURRENCY为调度程序自己的内部进程分配资源，从而防止它们影响数据负载。
# EXECUTIONPARALLELISM 假设您的调度程序正在读取的主题有100个分区。然后，您可以将EXECUTIONPARALLELISM设置为10，以便每个线程将从10个分区中读取
# 将QUEUETIMEOUT参数设置为0。值0允许连续加载数据
/opt/vertica/bin/vsql -U dbadmin -w dbadmin -d viid -c "CREATE RESOURCE POOL res_time_space_pool MEMORYSIZE '10%' PLANNEDCONCURRENCY 2 QUEUETIMEOUT 0 EXECUTIONPARALLELISM 10;"
# Create and Configure Scheduler 调度程序本身
# 指定消费者组 以通过其他方式监听vertica的消费情况
# $ ./kafka-consumer-groups.sh --describe --group res_time_space_group \
#   --bootstrap-server 192.168.108.126:9092
/opt/vertica/packages/kafka/bin/vkconfig scheduler --create --add ${kafka_config} --frame-duration ${frame_duration} --eof-timeout-ms ${eof_timeout_ms} --operator ${operator} --resource-pool res_time_space_pool --consumer-group-id ${kafka_consumer_group_id} --message_max_bytes 25165824
echo "Create and Configure Scheduler Complete!"
 
# Create a Cluster 集群
/opt/vertica/packages/kafka/bin/vkconfig cluster --create --cluster ${scheduler_name}_cluster --hosts ${kafka_hosts} ${kafka_config}
echo "Create Cluster Complete!"
 
# Create a Data Table
 
# Create a Source 来源
/opt/vertica/packages/kafka/bin/vkconfig source --create --source ${kafka_topic}  --cluster ${scheduler_name}_cluster --partitions ${kakfa_partitions} ${kafka_config}
echo "Create Kafka Source Complete!"
 
# Create a Target 目标
#避免在目标表中包含具有主键限制的列。如果调度程序遇到行的值违反此限制的情况，它将停止加载数据。
#如果必须有一个受主键限制的列，请尝试在调度程序加载该流数据之前过滤掉该数据流中该列的所有冗余值
/opt/vertica/packages/kafka/bin/vkconfig target --create --target-schema ${target_schema} --target-table ${target_table} ${kafka_config}
echo "Create Target Complete!"
 
# Create a Load-Spec 加载规范
# 将一个字符串行转为多列值
#COPY kafka_iot SOURCE KafkaSource(stream='iot-data|0|-2,iot-data|1|-2', 
#                                     brokers='kafka01:9092', 
#                                     stop_on_eof=True) 
#                  FILTER KafkaInsertDelimiters(delimiter = E'\n') 
#                  DELIMITER ',';
/opt/vertica/packages/kafka/bin/vkconfig load-spec --create --load-spec load_spec_${scheduler_name} --parser KafkaJSONParser --parser-parameters flatten_arrays=False,flatten_maps=False ${kafka_config}
#/opt/vertica/packages/kafka/bin/vkconfig load-spec --create --load-spec load_date_dimension_spec --parser KafkaJSONParser --filters "FILTER KafkaInsertDelimiters(delimiter=E'\n')" ${kafka_config}
 
echo "Create Load-Spec Complete!"
 
# Create a Microbatch 微批处理
# --offset partition_1_offset[,partition_2_offset,...] 您可以使用此选项跳过源中的某些消息或重新加载以前阅读的消息。
# 在设置微批处理的偏移量之前，请使用shutdown实用程序关闭调度程序。
# --rejection-schema schema_name 用于存储拒绝的消息的表。
# 从表中查看消费详情 SELECT *FROM res_time_space.stream_microbatch_history
/opt/vertica/packages/kafka/bin/vkconfig microbatch --create --microbatch ${kafka_topic} --target-schema ${target_schema} --target-table ${target_table} --rejection-schema ${target_schema} --rejection-table ${target_table}_rej --load-spec load_spec_${scheduler_name} --add-source ${kafka_topic} --add-source-cluster ${scheduler_name}_cluster ${kafka_config}
echo "Create Microbatch Complete!"
 
# Launch the Scheduler 微批调度
/opt/vertica/packages/kafka/bin/vkconfig launch --instance-name load_spec_${scheduler_name} ${kafka_config} &
echo "Launch the Scheduler Complete!"
echo "Done!"

更新当前设置 ：重新从某个偏移量开始消费

scheduler_name=res_time_space
dbhost=192.168.108.64
dbusername=dbadmin
dbpassword=dbadmin
frame_duration='00:00:10'
# 如果COPY命令在eof-timeout-ms间隔内未收到任何消息，则Vertica会通过结束该COPY语句来进行响应
eof_timeout_ms=3000
operator=dbadmin
kafka_hosts=192.168.108.126:9092
kafka_topic=res_time_space
kakfa_partitions=1
kafka_consumer_group_id=res_time_space_group
target_schema=public
target_table=res_time_space
# Vertica 8.1.0
kafka_config=" --config-schema ${scheduler_name} --dbhost ${dbhost} --username ${dbusername} --password ${dbpassword}"


/opt/vertica/packages/kafka/bin/vkconfig shutdown --instance-name load_spec_${scheduler_name} ${kafka_config}
echo "stop the Scheduler Complete!"

# SELECT max(start_offset)-2 as cur_start_offset FROM res_time_space.stream_microbatch_history
# 重设偏移量 offset=cur_start_offset-N条
/opt/vertica/packages/kafka/bin/vkconfig microbatch --update --microbatch ${kafka_topic} --offset 12650 --partition 0 ${kafka_config}
echo "update Microbatch Complete!"

/opt/vertica/packages/kafka/bin/vkconfig launch --instance-name load_spec_${scheduler_name} ${kafka_config} &
echo "Launch the Scheduler Complete!"
echo "Done!"

yostkevin
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数据库与MPP数仓(二十八)：关于vertica消费kafka的由浅入深
叶子叶来
08-31 893
在实际生产中把vertica定位于面向业务层的数据仓库，其下必然需要一层原始数据的清洗层，实时性不高可以直接基于hdfs抽取数据，实时性高的最好使用流处理工具处理后加载，无论如何在业务定位上最好不要让vertica直接进行数据的频繁插入和修改更新操作，如果一定要这么做，vertica提供了kafka-collector的方式加载数据，效率很快，本文由浅入深介绍该方式的本地测试以及生产环境应该怎么用...
数据库与MPP数仓(七)：vertica系统管理语句及实时消费kafka
叶子叶来
10-24 6141
--看锁表及锁的类型 select object_name,lock_mode,transaction_id,request_timestamp,transaction_description from locks; select transaction_id from locks where object_name like '%servefc%'; --查历史查询的记录 select sch...
Vertica实时数据分析平台
04-20
深度介绍Vertica产品总体架构、核心优势、集群能力、Vertica与Hadoop的数据交换、SQL高级分析、与分布式R无缝集成、灾备能力等等，是不可多得的了解Vertica的好资料。
云原生数据库系列谈（贰）：全新Vertica 9.0 核心架构揭秘
dataondemand0514的博客
06-13 628
导语 上回书（云原生数据库系列谈（壹）：节点越多，性能越高？）我们说到，提升MPP数据库性能的关键在于Micro Focus Vertica全新的9.1版本中的Eon模式。从宏观上来说，它是未来大数据&amp;云计算时代中，数据库未来的发展方向；从微观上来说，它让我们基本上远离了曾经让我们苦不堪言的“宕掉”二字。我相信小伙伴一定跟我一样对这个神奇的Vertica充满了好奇，它到底是何方神圣，能让桀...
vertica数据库总结
hmxz2nn的博客
08-07 2517
研究使用vertica有一段时间了，对它也有了一定的了解。总的来说，vertica是一款性能强大，功能全面，很容易使用的MPP数据库，当然，要是这款数据库能够开源就更好了。 对于一款数据库，客户选择它的理由不外乎从以下几个方面考虑：性能、成本、可靠性和稳定性、易用性。下面将从这几个方面大概介绍一下vertica的特点，之前已经有博客对vertica的一些功能做描述，这篇博文算是一个总结。 性能提升...
python读取kafka,输出到Vertica数据库
weixin_30832351的博客
02-22 148
# 主测试 # https://docs.python.org/2/library/json.html import sys import json import vertica_python import time import os from pykafka import KafkaClient # 导入的vertica_python和pykafka包需要pip insta...
Vertica: 基于DBMS架构的列存储数据仓库
张包峰的博客
08-11 9919
Vertica与传统数据库系统和其他列式数据仓库系统相比的话，在性能上有比较明显的优势，在设计上有一些异同，比较适合ad-hoc查询，OLAP类型的作业。总的来说，Vertica通过列存储减少了io开销，再加上高效的压缩手段，极大节省了磁盘空间，基于此Vertica采用多备份来保证高可用性，并且多备份又能够增强查询性能。在使用和运维角度了，Vertica自带工具帮助用户做物理表的存储，能提供标准SQL接口，也兼容现有的BI、ETL工具方便作业往Vertica上迁移，而且Vertica部署对硬件没有特殊要求，
vertica数据库监控
hmxz2nn的博客
07-01 2039
本文档翻译整理自：https://www.vertica.com/kb/Best-Practices-for-Monitoring-Vertica/Content/BestPractices/BestPracticesforMonitoringVertica.htm 系统健康监控 节点状态监控 可通过命令查看系统表nodes，获得各个节点的健康状态。 => SELECT node_name,...
vertica-->kafka-->mongodb数据流
发歌的数据架构
08-04 3235
此连接件为confluent修改过的jar包，这里不提供下载（涉及公司机密！！） Kafka Connnect有两个核心概念：Source和Sink。 Source负责导入数据到Kafka，Sink负责从Kafka导出数据，它们都被称为Connector。 由于这里是kafka到mongo，所以这里使用Sink Connector 首先安装kafka 1，Kafka
kafka connect简介以及部署
热门推荐
会写代码的哈士奇
02-26 4万+
Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。
vertica中Segmentation
09-27
-----------------------------Vertica-数据库-------------------------------------- 1：对象名称（表名，字段名）可以长到128个字符； --sequence 序列 --unique 唯一的 ...
Vertica_9.1.x完整文档
11-26
Vertica_9.1.x_Complete_Documentation Vertica_9.1.x的完整文档，详细介绍Vertica及其功能，包括安装、管理手册、数据分析、使用控制台、SQL参考手册
vertica数据库deb
11-03
设置了0积分，如果CSDN自己设置要积分可以到博客找百度云连接，或者官网自己注册下载。Ubuntu系统的免费vertica数据库。
vertica数据库的连接jar包
10-24
Java连接数据vertica数据库 就可以连接数据库 import java.sql.*; import java.util.Properties; Properties myProp = new Properties(); //用于设置数据库的用户名 myProp.put("user", "dbadmin"); //用于...
vertica-清除删除数据
发歌的数据架构
05-27 5296
已经删除的表或者表中的行会放在storage_containers表中 dbadmin=> select * from storage_containers where deleted_row_count >0;      node_name      | schema_name |   projection_id   |   projection_name    | storage_ty
Vertica常用操作总结
DataFlow范式
02-07 2万+
1.      修改列名称 alterTABLEnoas_app.DIM_TNES_CELL_RAT rename rat_name to CELL_RAT_NAME; 2.      Vertica导出自己测试 NOAS252:/tmp/vertica6.1.2# /opt/vertica/sbin/install_vertica -s NOAS252 -rvertica-6.1.2-0
oracle导入csv文本文件到vertica
发歌的数据架构
05-23 1568
COPY tmp.tmp_totaluid  FROM '/home/dbadmin/zhangsan.csv' EXCEPTIONS '/tmp/exp.log' DELIMITER e'\t'; 导入有空格的csv文件 COPY app.App_Agg_Level2_Monitor  FROM '/home/dbadmin/test3.csv' EXCEPTIONS '/tmp/exp
java 用Set对结果集按指定key去重并排序
kevin
11-05 1236
使用场景：在数据量比较大的情况下，某些开窗函数去重会非常耗时，但是用group by+join 又去不干净，这时考虑用group by+join +java set 去重的方法 思路：利用重新java类的equals和hashcode方法指定key，然后通过set去重 1.测试数据2条，同一个personId 在同一时间(snap_time)有两条数据 （但是这两条数据的record_id不一样，导致原始数据库没有去到重） INSERT INTO dts_daas.res_time_space (.
时空权衡——字符串匹配(Time/Space Tradeoff - Horspool's String Matching)
UoM_XiaoShuaiShuai的博客
06-10 740
时空权衡——字符串匹配(Time/Space Tradeoff - Horspool’s String Matching)字符串匹配简介(Introduction) String matching is to find a place where one or several strings(called pattern) are found within a large string or te
vertica pdf
最新发布
10-06
Vertica PDF是一种用来存储和管理数据的解决方案。Vertica是一个高效的分布式数据库，它针对大规模数据集的分析和查询进行了优化。它使用了一种特殊的列式存储结构，能够提供快速的查询和高性能的数据加载。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值