大数据学习笔记一 hermes功能介绍与使用

最新推荐文章于 2024-08-30 07:53:36 发布

a626108713

最新推荐文章于 2024-08-30 07:53:36 发布

阅读量4.1k

点赞数 2

文章标签： hermes

本文链接：https://blog.csdn.net/a626108713/article/details/82503000

版权

Hermes是腾讯的大数据实时多维分析平台，提供实时和离线数据接入方式，支持Kafka和CSV格式。实时数据接入通过Kafka进行，而离线数据接入则支持CSV文件导入。数据导出包括流数据导出到Kafka和离线数据导出到存储系统。Hermes使用HTTP接口，需要开发者掌握Kafka操作。离线导入数据需注意文件格式和不能与实时接入同一分区操作。

摘要由CSDN通过智能技术生成

Hermes 是什么？
大数据实时多维分析平台，腾讯自研组件，腾讯处理千亿级海量数据用户画像和多维分析的核心技术的经验和积累，基于搜索引擎技术，实现索引和搜索功能，可根据用户自定义数据分析需求，对多个字段进行关键字全匹配或模糊匹配检索，并可对检索结果集进行分组、排序、计算等统计分析操作。
Hermes数据接入
hermes支持两种数据接入方式：
1.实时数据接入（实时数据接入依赖KAFKA进行数据的导入导出,开发者需掌握KAFKA producer生产端，KAFKA消费端hermes会自动消费并储存数据）
2.离线数据接入（支持本地csv格式的文件导入）
另外hermes的所有接口都是HTTP接口，调用方式也是调用http接口
Hermes数据导出
hermes 的导出方式分两种：
1.流数据导出，数据导出到kafka,然后开发者实时去消费kafka的数据
2.离线数据导出道储存系统，开发者去下载数据
Hermes实时数据接入
hermes实时数据接入过程：
1.开发者首先需要在kafka为hermes创建一个topic，该topic用于存放写入hermes的流数据。
2.在hermes注册该topic，使得该topic的数据能够被hermes消费到数据表；
3.在hermes创建数据表，按照业务需求定义数据项以及数据格式，并且，该数据表需要关联刚才创建的topic。
之后，往kafka的该topic写入的所有数据，都将被hermes自