dataX-windows系统下mysql与txt的转化(二)

最新推荐文章于 2022-10-25 15:24:07 发布
最新推荐文章于 2022-10-25 15:24:07 发布
阅读量1.5k 收藏 2
点赞数 1
分类专栏： dataX 文章标签： mysql 数据库 txt datax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43345864/article/details/122178514
版权
本文介绍了在Windows系统中，使用DataX将TXT文件转换到MySQL数据库的过程，包括文件准备、TXT到TXT的转换以及TXT数据导入MySQL的步骤和遇到的问题及解决方案。
摘要由CSDN通过智能技术生成

本篇的配置环境 https://www.jianshu.com/p/6c086c0ab2a9
mysql 8.0.27 ,python3.7 ,windows系统

一、文件准备

新建workJson 和 workfile 目录分别存放原始文件，和json
原始文件名file.txt分割符为\t
image.png

二、txt文件到txt文件

  • json模板获取
    python D:\dataxTest\datax\bin\datax.py -r txtfilereader -w txtwriter > txtTotxtfile.json
  • txtTotxt配置
{
   
    "job": {
   
        "content": [
            {
   
                "reader": {
   
                    "name": "txtfilereader",
                    "parameter": {
   
                        "column": [
                        {
   
                                "index": 0,
                                "type": "string",
                                "nullFormat":""
                            },
                            {
   
                                "index": 1,
                                "type": "string",
                                "nullFormat":""
                            },
                            {
   
                                "index": 2,
                                "type": "string",
                                "nullFormat":""
                            },
                            {
   
                                "index": 3,
                                "type": "string",
                                "nullFormat":""
                            }
                                  ],
                        "encoding": "utf-8",
                        "fieldDelimiter": "\t"
最低0.47元/天 解锁文章
魂落忘川犹在川
关注
专栏目录
DataX ：文本文件 -＞ mysql 的使用及安装教程
JustTryIT
06-02 471
DataX安装环境准备： jdk1.6以上 python2.0 DataX安装： 1.官网下载
datax安装与使用详解
jhchengxuyuan的博客
09-21 6413
一、dataX概览 1.1 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.2 Features DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以...
Datax的txtfilereader插件实践
weixin_30391339的博客
12-17 1670
一、介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 二、配置模版 { "setting": {}, "job": { "setting": { "speed": { ...
dataX案例 读取mysql（通过表名或自定义sql语句）数据写入到hdfs中 (txt或orc存储，gzip或snappy压缩)
小哇
09-14 3346
实现原理 MysqlReader插件实现了从Mysql读取数据。简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。 对于用户配置Table、Column、Where的信息，MysqlReader将其拼接为SQL语句发送到Mysql数据库；对于用户配置queryS...
datax将mysql导入文本_Datax使用SQL语句数据导入
weixin_39695241的博客
02-01 873
{"job": {"setting": {"speed": {"channel": 2}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "XXX","password": "XXX","connection": [{"querySql": ["select id,name,times from tr...
DATAX 实现txt数据迁移到mysql数据库，具体实例
vitaair的博客
11-03 3547
1.txt2mysqlJob.json { "job": { "content": [ { "reader": { "name": "txtfilereader", "parameter": { "path": ["c:/data/aa.txt"], "...
datax（一）alibaba datax简介
qq_31957747的博客
11-03 6234
github：https://github.com/alibaba/DataX 目录 一、datax简介 1.1 原理简介 1.1.1 概览 1.1.2 框架设计 1.1.3 核心架构 1.2 特点 1.3 使用场景 二、data使用方式、注意点 2.1 基本使用 2.2 数据预处理 2.2.1 transformer例子 2.2.2 已有trasformer列表 2.2.3扩展transformer方法 2.3流控、并发调整 2.3.1 流控、并发配置项 2.3...
DataX（用于不同数据源的导入导出）
默主归沙的博客
03-27 3776
一、DataX概述 1.1 DataX简介 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 当前使用现状 Dat
DataX3.0入门简介
fczheng的博客
08-23 270
一篇不错的介绍DataX的文章，转载自：https://blog.csdn.net/u014646662/article/details/82792725 ，感谢原作者。 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非...
【datax采集ftp、txt、hdfs不支持多字符分隔解决方案】
lqlgg1007的博客
01-24 4703
该方式仅支持TxtFileReader, OSSReader,FtpReader, HdfsReader，其中ftpReader已验证。下文所有描述都只针对这几种数据源。 注意：修改为多字符分隔后，采集数据大概只有之前的1/3。所以源数据如果同时存在单字符和多字符。建议复制一份datax安装包，单独修改插件。 为什么Datax不支持多字符分隔 查看类com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUt
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
dataX案例-从hbase中读取数据，写入到文本文件中
小哇
09-16 2693
HbaseReader 插件原理 HbaseReader 插件实现了从 Hbase中读取数据。在底层实现上，HbaseReader 通过 HBase 的 Java 客户端连接远程 HBase 服务，并通过 Scan 方式读取你指定 rowkey 范围内的数据，并将读取的数据使用 DataX 自定义的数据类型拼装为抽象的数据集，并传递给下游 Writer 处理。HbaseReader 插件官方文档，有介绍各个参数的说明https://github.com/alibaba/DataX/blob/master/h
解析TXT文件
生活在爪洼岛上
09-20 200
public String getText(String filename){ String return_str = null; try { BufferedReader read = null; try { read = new BufferedReader(new FileReader(filename)); String str = ""; ...
datax之txtfilereader
qq_36297093的博客
07-13 2238
声明：本文来源于datax源码包 # DataX TxtFileReader 说明 ------------ ## 1 快速介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 **本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。** ## 2 功能与限制 TxtFileReader实现了从本地文件读取数据并转为DataX协议的功能，本地文件本身
DataX系列4-TxtFileWriter介绍
只是甲的博客
12-15 4369
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 fileName3.2.3 writeMode3.2.4 fieldDelimiter3.2.5 compress3.2.6 encoding3.2.7 nullFormat3.2.8 dateFormat3.2.9 fileFormat3.2.10 header3.3 类型转换四. 测试案例4.1 数据准备4.2 json文件准备4.3 运行脚本参考: 一. 快速介绍   实际生产中，鉴于数
datax值txtreader，writerjob
viviliving的专栏
01-07 528
{ "setting": {}, "job": { "setting": { "speed": { "channel": 2 } }, "content": [ { "reader": { "name": "txtfilereader", .
使用DATAX导出HBASE文本文件格式数据落至HDFS
最新发布
weixin_47099283的博客
10-25 368
使用DATAX导出HBASE数据落至HDFS
datax 从 txtfile 到 mysql
hhhliushen的博客
05-13 938
试一下datax 的txt—>mysql 一百多兆的文件里面大概有十几万数据 花了四分钟 慢不？ { "job": { "setting": { "speed": { "channel": 1 } }, "content": [{ "reader": { "name": "txtfilereader", "parameter": { "path": ["路径"], "encoding": "utf-8", "c
初始datax
qq_35653822的博客
07-28 676
1.datax安装 1.1在java环境基础上，还要安装python，因为datax启动命令是执行的python命令 1.2.安装datax 2.datax出现乱码 输入CHCP 65001 回车，进入新的页面输入命令，打印日志就不会乱码 3.实践datax迁移的三种情况 1.mysqlTOmysql 2.csvTOmysql 3.csvTOcsv----（这个生成文件名不对，还请路过大神指教） 以下为json文件配置，亲测有效 三个json文件以及输出下载地址 https://d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值