datax工具简明使用

已于 2024-04-08 12:48:01 修改
阅读量356 收藏 1
点赞数 13
分类专栏： 工具 文章标签： 大数据 mysql linux
于 2024-04-08 12:25:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45782319/article/details/137471921
版权

datax同步工具简明使用

1、工具下载

datax下载地址：https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

[root@node3 data]# wget https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
--2024-04-08 11:53:32--  https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
正在解析主机 datax-opensource.oss-cn-hangzhou.aliyuncs.com (datax-opensource.oss-cn-hangzhou.aliyuncs.com)... 47.110.177.48
正在连接 datax-opensource.oss-cn-hangzhou.aliyuncs.com (datax-opensource.oss-cn-hangzhou.aliyuncs.com)|47.110.177.48|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：853734462 (814M) [application/gzip]
正在保存至: “datax.tar.gz”

100%[===========================================================================================================================================================>] 853,734,462 41.3MB/s 用时 21s

2024-04-08 11:53:53 (38.9 MB/s) - 已保存 “datax.tar.gz” [853734462/853734462])

2、解压包并赋权

[root@node3 data]# tar -zxvf datax.tar.gz
[root@node3 data]# chmod 755 -R datax
[root@node3 data]# ll /data/datax
总用量 4
drwxr-xr-x 2 502 games  118 4月   8 11:56 bin
drwxr-xr-x 2 502 games  136 4月   8 11:56 conf
drwxr-xr-x 2 502 games   40 4月   8 11:56 job
drwxr-xr-x 2 502 games 4096 4月   8 11:56 lib
drwxr-xr-x 4 502 games   42 12月  9 2021 log
drwxr-xr-x 4 502 games   42 12月  9 2021 log_perf
drwxr-xr-x 4 502 games   66 4月   8 11:56 plugin
drwxr-xr-x 2 502 games   42 4月   8 11:56 script
drwxr-xr-x 2 502 games   44 10月 12 2019 tmp

3、datax帮助

[root@node3 bin]# python datax.py

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Usage: datax.py [options] job-url-or-path

Options:
  -h, --help            show this help message and exit

  Product Env Options:
    Normal user use these options to set jvm parameters, job runtime mode
    etc. Make sure these options can be used in Product Env.

    -j <jvm parameters>, --jvm=<jvm parameters>
                        Set jvm parameters if necessary.
    --jobid=<job unique id>
                        Set job unique id when running by Distribute/Local
                        Mode.
    -m <job runtime mode>, --mode=<job runtime mode>
                        Set job runtime mode such as: standalone, local,
                        distribute. Default mode is standalone.
    -p <parameter used in job config>, --params=<parameter used in job config>
                        Set job parameter, eg: the source tableName you want
                        to set it by command, then you can use like this:
                        -p"-DtableName=your-table-name", if you have mutiple
                        parameters: -p"-DtableName=your-table-name
                        -DcolumnName=your-column-name".Note: you should config
                        in you job tableName with ${tableName}.
    -r <parameter used in view job config[reader] template>, --reader=<parameter used in view job config[reader] template>
                        View job config[reader] template, eg:
                        mysqlreader,streamreader
    -w <parameter used in view job config[writer] template>, --writer=<parameter used in view job config[writer] template>
                        View job config[writer] template, eg:
                        mysqlwriter,streamwriter

  Develop/Debug Options:
    Developer use these options to trace more details of DataX.

    -d, --debug         Set to remote debug mode.
    --loglevel=<log level>
                        Set log level such as: debug, info, all etc.

4、生成同步数据的配置文件

相关的reader或writer插件可参考：https://github.com/alibaba/DataX/blob/master/introduction.md
例如：mysql To mysql

[root@node3 bin]# python datax.py -r mysqlreader -w mysqlwriter

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the mysqlreader document:
     https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md

Please refer to the mysqlwriter document:
     https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [],
                        "connection": [
                            {
                                "jdbcUrl": [],
                                "table": []
                            }
                        ],
                        "password": "",
                        "username": "",
                        "where": ""
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [],
                        "connection": [
                            {
                                "jdbcUrl": "",
                                "table": []
                            }
                        ],
                        "password": "",
                        "preSql": [],
                        "session": [],
                        "username": "",
                        "writeMode": ""
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

5、datax同步启动命令

python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json

6、对datax启动的jvm进行修改

[root@node3 bin]# python datax.py --jvm="-Xms12G -Xmx15G" test.json

7、通过传参执行任务

同步的配置文件

[root@node3 bin]# cat m2m_parm.json
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://192.168.122.28:3306/test?characterEncoding=utf8&useSSL=false"],
                                "table": ["$O_TABLE"]
                            }
                        ],
                        "password": "password",
                        "username": "root",
                        "where": ""
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://192.168.122.28:3306/test?rewriteBatchedStatements=true&characterEncoding=utf8&useSSL=false",
                                "table": ["$T_TABLE"]
                            }
                        ],
                        "password": "password",
                        "preSql": [],
                        "session": [],
                        "username": "root",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "3"
            }
        }
    }
}

执行同步测试任务

# 通过传参方式执行任务
[root@node3 bin]# python datax.py -p"-DO_TABLE=orders -DT_TABLE=orders_test" m2m_parm.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2024-04-08 12:20:08.705 [main] INFO  MessageSource - JVM TimeZone: GMT+08:00, Locale: zh_CN
2024-04-08 12:20:08.708 [main] INFO  MessageSource - use Locale: zh_CN timeZone: sun.util.calendar.ZoneInfo[id="GMT+08:00",offset=28800000,dstSavings=0,useDaylight=false,transitions=0,lastRule=null]
2024-04-08 12:20:08.724 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2024-04-08 12:20:08.731 [main] INFO  Engine - the machine info  =>

        osInfo: Linux amd64 3.10.0-1160.el7.x86_64
        jvmInfo:        Oracle Corporation 1.8 25.144-b01
        cpu num:        4

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 1,536.50MB                     | 512.50MB
        Code Cache                     | 240.00MB                       | 2.44MB
        Compressed Class Space         | 1,024.00MB                     | 0.00MB
        PS Survivor Space              | 85.00MB                        | 85.00MB
        PS Old Gen                     | 3,413.50MB                     | 1,365.50MB
        Metaspace                      | -0.00MB                        | 0.00MB


2024-04-08 12:20:08.750 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"mysqlreader",
                                "parameter":{
                                        "column":[
                                                "*"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":[
                                                                "jdbc:mysql://192.168.122.28:3306/test?characterEncoding=utf8&useSSL=false"
                                                        ],
                                                        "table":[
                                                                "orders"
                                                        ]
                                                }
                                        ],
                                        "password":"********",
                                        "username":"root",
                                        "where":""
                                }
                        },
                        "writer":{
                                "name":"mysqlwriter",
                                "parameter":{
                                        "column":[
                                                "*"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":"jdbc:mysql://192.168.122.28:3306/test?rewriteBatchedStatements=true&characterEncoding=utf8&useSSL=false",
                                                        "table":[
                                                                "orders_test"
                                                        ]
                                                }
                                        ],
                                        "password":"********",
                                        "preSql":[

                                        ],
                                        "session":[

                                        ],
                                        "username":"root",
                                        "writeMode":"insert"
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":"3"
                }
        }
}

2024-04-08 12:20:08.779 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false
2024-04-08 12:20:08.779 [main] INFO  JobContainer - DataX jobContainer starts job.
2024-04-08 12:20:08.780 [main] INFO  JobContainer - Set jobId = 0
2024-04-08 12:20:09.439 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://192.168.122.28:3306/test?characterEncoding=utf8&useSSL=false&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2024-04-08 12:20:09.441 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2024-04-08 12:20:09.793 [job-0] INFO  OriginalConfPretreatmentUtil - table:[orders_test] all columns:[
order_id,customer_id,order_date,total_amount
].
2024-04-08 12:20:09.793 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2024-04-08 12:20:09.795 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
insert INTO %s (order_id,customer_id,order_date,total_amount) VALUES(?,?,?,?)
], which jdbcUrl like:[jdbc:mysql://192.168.122.28:3306/test?rewriteBatchedStatements=true&characterEncoding=utf8&useSSL=false&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true&tinyInt1isBit=false]
2024-04-08 12:20:09.795 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2024-04-08 12:20:09.796 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2024-04-08 12:20:09.796 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2024-04-08 12:20:09.797 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2024-04-08 12:20:09.797 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2024-04-08 12:20:09.802 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] splits to [1] tasks.
2024-04-08 12:20:09.802 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2024-04-08 12:20:09.835 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2024-04-08 12:20:09.838 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2024-04-08 12:20:09.841 [job-0] INFO  JobContainer - Running by standalone Mode.
2024-04-08 12:20:09.856 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2024-04-08 12:20:09.861 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2024-04-08 12:20:09.862 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2024-04-08 12:20:09.873 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2024-04-08 12:20:09.880 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select * from orders
] jdbcUrl:[jdbc:mysql://192.168.122.28:3306/test?characterEncoding=utf8&useSSL=false&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true].
2024-04-08 12:20:09.907 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select * from orders
] jdbcUrl:[jdbc:mysql://192.168.122.28:3306/test?characterEncoding=utf8&useSSL=false&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true].
2024-04-08 12:20:09.974 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[104]ms
2024-04-08 12:20:09.975 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2024-04-08 12:20:19.872 [job-0] INFO  StandAloneJobContainerCommunicator - Total 7 records, 130 bytes | Speed 13B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2024-04-08 12:20:19.872 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2024-04-08 12:20:19.873 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2024-04-08 12:20:19.873 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do post work.
2024-04-08 12:20:19.873 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2024-04-08 12:20:19.874 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/datax/hook
2024-04-08 12:20:19.876 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s

2024-04-08 12:20:19.876 [job-0] INFO  JobContainer - PerfTrace not enable!
2024-04-08 12:20:19.877 [job-0] INFO  StandAloneJobContainerCommunicator - Total 7 records, 130 bytes | Speed 13B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2024-04-08 12:20:19.878 [job-0] INFO  JobContainer -
任务启动时刻                    : 2024-04-08 12:20:08
任务结束时刻                    : 2024-04-08 12:20:19
任务总计耗时                    :                 11s
任务平均流量                    :               13B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   7
读写失败总数                    :                   0

8、如何增加新的数据库支持?

datax提供了RDBMS底层接口，传统关系型数据库通常都能支持，比如GBase8a、GBase8s等等。

如何实现读支持

(1) 把对应驱动上传至${DATAX_HOME}/plugin/reader/rdbmsreader/libs目录下
(2) 修改${DATAX_HOME}/plugin/reader/rdbmsreader/plugin.json配置文件

[root@node3 rdbmsreader]# cat plugin.json
{
    "name": "rdbmsreader",
    "class": "com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader",
    "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
    "developer": "alibaba",
    "drivers":[ "com.sybase.jdbc3.jdbc.SybDriver", "com.edb.Driver", "com.ibm.db2.jcc.DB2Driver","com.gbase.jdbc.Driver"]
}

如何实现写支持

(1) 把对应驱动上传至${DATAX_HOME}/plugin/writer/rdbmswriter/libs目录下
(2) 修改${DATAX_HOME}/plugin/writer/rdbmswriter/plugin.json配置文件

[root@node3 rdbmswriter]# cat plugin.json
{
    "name": "rdbmswriter",
    "class": "com.alibaba.datax.plugin.reader.rdbmswriter.RdbmsWriter",
    "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
    "developer": "alibaba",
    "drivers":["com.sybase.jdbc3.jdbc.SybDriver", "com.edb.Driver", "com.ibm.db2.jcc.DB2Driver","com.gbase.jdbc.Driver"]
}
keep__go
关注
  • 13
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据同步工具datax
10-11
linux datax 同步工具离线数据同步工具，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址：...
mysql 退出数据库_mysql怎样退出使用数据库
weixin_35183690的博客
01-18 2161
[Qt教程] 第22篇 数据库(二)编译MySQL数据库驱动[Qt教程]第22篇数据库(二)编译MySQL数据库驱动楼主发表于 2013-5-13 21:28:02|查看:1616|回复: 12编译MyQSL数据库驱动版权声明该文章原创于作者yafeilinux，转载请注明出处！导语...文章沧海一笑dj2013-11-121883浏览量在 Linux 中修改 MySQL 或 MariaD...
阿里研发:核心系统--中间件--阿里云--yunOS介绍
junecauzhang的专栏
03-15 9926
阿里研发:核心系统--中间件--阿里云--yunOS介绍 分类： 1.1 自然科学 1.2.1.1 职业规划 1.3 学习方法 1.1.1 信息技术 1.1.1.1 操作系统OS 1.1.1.2 OS-JVM及GC 1.1.1.7 程序语言-框架2014-03-10 21:55 28人阅读 评论(0) 收藏 举报 目录(?)[+] 阿里
PHP和正则表达式教程集合
05-13 837
PHP和正则表达式一个正则表达式是一个特定的格式化模式，可以用来找出一个字符串在另一个字符串中的使用情况。几个编程语言，包括Visual Basic,Perl,JavaScript和PHP都支持正则表达式，希望在这篇入门指导的结束，Mitchell(作者自己)可以让你在PHP程序中 能应用一些基本的正则表达式。正则表达式是在各种各样的程序语言中突出的古怪特征中的一种，但是由于它们看起来是很难的
三、数仓数据同步策略
我的笔记
03-21 753
大数据自学笔记——电商数仓5.0搭建学习笔记
Datax安装及使用文档.doc
09-23
通过网上收集整理了分DataX的安装及使用文档，如有需要的可以下载了解
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
java使用datax增量同步代码
04-19
java使用datax增量同步代码，直接放到项目可使用，支持增量，全量可配置，同步一张表只需添加一条记录
阿里开源ETL工具DATAX
05-29
阿里开源ETL工具DATAX
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 956
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1057
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
云计算知识点-02
lv785的博客
04-27 1470
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
踏上大数据第一步：flume
Hanko的专栏
04-29 590
Flume是一个分布式、可靠、可用的系统,用于高效地收集、聚合和移动大量日志数据。它旨在从不同的数据源收集数据,并将其存储到中央数据存储中,如HDFS、HBase或Solr等。Flume是Apache旗下的一个顶级项目,是Hadoop生态系统中的一个重要组件。日志收集Flume可以高效地从各种Web服务器、应用服务器等收集日志数据,并将其传输到HDFS或其他存储系统中,为后续的数据分析做准备。数据采集。
25计算机考研院校数据分析 | 电子科技大学
m0_72717598的博客
04-29 761
是国家“985工程”、“211工程”、“世界一流大学和一流学科”重点建设高校，入选“2011计划”、“111计划”、“卓越工程师教育培养计划”、“国家建设高水平大学公派研究生项目”、“中国政府奖学金来华留学生接收院校”，两电一邮成员。题库中抽取题目作答，重点考查程序设计、算法设计与分析、软件工程、计算机组成原理、数据库、计算机网络、编译原理、密码学（该科目限报考083900网络空间安全专业考生）等基础知识情况。101思想政治理论、201英语一、301数学一、820计算机专业基础【22数据结构+操作系统】
中国移动发布国内领先的大云磐石DPU芯片速率达400Gbps
csdnsqst0046的博客
04-30 108
后续，磐石DPU芯片将广泛应用于中国移动数据中心建设，以其优越性能，支撑通用计算、智能计算等业务场景使用，为云计算、边缘计算、大数据处理、AI大模型训练等领域提供更加安全、可靠、高效的技术支撑，助力我国大数据、人工智能、算力网络高速发展，推动算力强国战略落地。4月28日，中国移动在其2024算力网络大会上正式发布大云磐石DPU，该芯片带宽达到400Gbps，为国内领先水平，将应用于移动云新一代大云磐石DPU产品，实现关键技术自主可控。据介绍，DPU是一种专注于数据处理的处理器，可实现更高效的数据处理。
sonar启动报错
m0_53166211的博客
04-27 244
sonarqube启动报错
hbase MultiRowRangeFilter的原理、作用和实例
linweidong的专栏
04-26 348
是HBase中的一个过滤器，用于在扫描操作中过滤多个行键范围。
使用消息中间件实现系统间的异步通信和解耦
最新发布
喔的嘛呀的博客
05-01 1072
定义消息格式和通信协议是使用消息中间件的关键步骤之一，它涉及到消息的结构、内容和交互方式。下面以 RabbitMQ 为例，演示如何定义消息格式和通信协议。在 RabbitMQ 中，消息通常由两部分组成：消息头和消息体。消息头包含一些元数据信息，如消息的类型、路由键等；消息体包含实际的业务数据。通信协议定义了消息的交互方式，包括消息的发送、接收和处理流程。// 省略getter和setter方法。
datax：如何使用datax
06-01
datax是一个开源的数据同步工具，可以实现不同数据源之间的数据同步。使用datax，需要按照以下步骤进行： 1. 下载datax，可以在官网 https://github.com/alibaba/DataX/releases 下载最新版本。 2. 编写job配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值