[ETL工具]dataX使用

最新推荐文章于 2024-08-15 22:00:35 发布

copywang_1992

最新推荐文章于 2024-08-15 22:00:35 发布

阅读量1.8k

点赞数

分类专栏： ETL 文章标签： DataX

本文链接：https://blog.csdn.net/wangjx92/article/details/83278527

版权

本文介绍了DataX作为ETL工具的使用，包括如何安装DataX，建议从源码开始并注释不必要的模块。此外，分享了一个从MySQL到ES的数据迁移示例，指出在配置中用户名和密码字段不能留空，并分享了测试100万条数据迁移仅用51秒的高效性能。

摘要由CSDN通过智能技术生成

官网

https://github.com/alibaba/DataX

安装方式：

建议下载源码，注释掉不需要的reader和writer

参考：

https://github.com/alibaba/DataX/blob/master/userGuid.md

示例

从mysql读取到es

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "car"