2024年最新kafak怎么快速批量造一百万数据_怎么向kafka中造数据，2024年最新网易架构师深入讲解大数据开发开发

2401_84181626

于 2024-05-10 07:55:28 发布

阅读量199

点赞数 2

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84181626/article/details/138645194

版权

程序员专栏收录该内容

153 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

其中 msg_creation_time ,qualifiedName ,name,guid 是变化的

{
    "version": {
        "version": "1.0.0",
        "versionParts": [
            1
        ]
    },
    "msg\_compression\_kind": "1",
    "msg\_split\_idx": 1,
    "msg\_source\_ip": "10.82.13.74",
    "msg\_created\_by": "DELL",
    "msg\_creation\_time": 1711525684104,
    "message": {
        "type": "ENTITY\_CREATE\_V2",
        "user": "DELL",
        "entities": {
            "entities": [
                {
                    "typeName": "ceshifuzadu2",
                    "attributes": {
                        "qualifiedName": "1711525684104",
                        "tenantId": "tenantId12",
                        "name": "百万消息测试复杂度2024-03-27 07:48:04.104966+00",
                        "userId": "userId12",
                        "version": 1
                    },
                    "guid": "-1711525684104",
                    "isIncomplete": false,
                    "provenanceType": 0,
                    "version": 0,
                    "proxy": false
                }
            ]
        }
    }
}

我在pg数据库当中建立对应的表

create table test_b
(
    version              json,
    msg_compression_kind varchar,
    msg_split_idx        integer,
    msg_source_ip        varchar,
    msg_created_by       varchar,
    msg_creation_time    bigint,
    message              json
);

创建造数脚本造 100万条

DO $$
    DECLARE k integer := 1;
    DECLARE message json :='{}';
    begin
        WHILE k <= 1000000
            loop
                WITH dynamic_json AS (
                    SELECT json_build_object(
                                   'type', 'ENTITY\_CREATE\_V2',
                                   'user', 'DELL',
                                   'entities', json_build_object(
                                           'entities', json_build_array(
                                            json_build_object(
                                                    'typeName', 'ceshifuzadu2',
                                                    'attributes', json_build_object(
                                                            'qualifiedName', ''||FLOOR(EXTRACT(EPOCH FROM NOW()) \* 1000)+k,
                                                            'tenantId', 'tenantId12',
                                                            'name', '百万消息测试复杂度' || FLOOR(EXTRACT(EPOCH FROM NOW()) \* 1000)+k,
                                                            'userId', 'userId12',
                                                            'version', 1


![img](https://img-blog.csdnimg.cn/img_convert/1788472fc09098b29f3c96bde9d91458.png)
![img](https://img-blog.csdnimg.cn/img_convert/68bfefba1c36e63b52a8cc0493881ab9.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

b)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**