mysql 同步数据到 hdfs问题分析

最新推荐文章于 2023-03-11 10:50:48 发布
最新推荐文章于 2023-03-11 10:50:48 发布
阅读量929 收藏 5
点赞数 5
分类专栏： etl datax 文章标签： hdfs etl java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40225004/article/details/112574074
版权
etl 同时被 2 个专栏收录
2 篇文章 0 订阅
订阅专栏
datax
1 篇文章 0 订阅
订阅专栏

datax hdfswriter 的部分问题

Permission denied: user=xxxxx 用户权限问题

windows下 hdfs目录被删除问题

背景： 准备用 datax 从 mysql 同步数据到 hdfs ， 记录下 遇到的问题，及解决思路
先测试将本txt地文件同步到hdfs
json job :
{
    "setting": {},
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["../job/demo.txt"],
                        "encoding": "UTF-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "STRING"
                            },
                            {
                                "index": 1,
                                "type": "long"
                            },
                            {
                                "index": 2,
                                "type": "DOUBLE"
                            },
                            {
                                "index": 3,
                                "type": "date"
                            }
                            
                        ],
                        "fieldDelimiter": "\t"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://139.9.xxx.157:9000",
                        "fileType": "text",
                        "path": "/data",
                        "fileName": "demo.txt",
                        "column": [
                           {
                                "name": "姓名",
                                "type": "VARCHAR"
                            },
                            {
                                "name": "年龄",
                                "type": "TINYINT"
                            },
                            {
                                "name": "身高",
                                "type": "DOUBLE"
                            },
                            {
                                "name": "日期",
                                "type": "date"
                            }
                            
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        
                    }
                }
            }
        ]
    }
}

文件内容

张三	20	179.5	2021-01-01
李四	22	179.5	2020-08-01
王五	25	172.0	2020-12-08
赵六	29	169.8	2020-10-20

在这里插入图片描述

运行报错：
在这里插入图片描述
Permission denied: user=xxxxx, access=WRITE, inode="/data":root:supergroup:drwxr-xr-x

这一看就是 用户权限问题，网上稍微搜了下，结合源码

在这里插入图片描述

翻译注释：如果我们没有kerberos用户并且安全性已禁用，请检查//是否在环境或属性中指定了user

解决办法，可以在jvm环境或者系统环境设置 HADOOP_USER_NAME 用户

两种解决办法：

1、jvm环境设置用户 ， 简单点就直接在 python 脚本的启动参数上添加(如下) 。当然也可以改源码，或者改python脚本

python datax.py -p "-DHADOOP_USER_NAME=xxx"  .xxxjob.json

2、系统环境设置用户

//linux
vim /etc/profile
export HADOOP_USER_NAME=xxx
source /etc/profile

//windows cmd
set HADOOP_USER_NAME=xxx
//查看一下是否成功
echo %HADOOP_USER_NAME%
//也可以直接在环境变量窗口里改，但是好像得重启才生效

使用第一种：
在这里插入图片描述
执行成功：
在这里插入图片描述

上hdfs查看一下
在这里插入图片描述

。。。。。。我淦，目录不见了，上网搜了下，windows下确定存在这种问题。

问题原因就是：上传文件 demo.txt 时，在文件上层生成了一个临时父目录 ，然后完成上传后删除临时父目录。

但是windows环境的文件分隔符是 \ ，所以找父目录时直接找到了之上的一层目录。

理想情况 ： / data / temp / demo.txt -> 要删除的父目录 / data/ temp /
实际情况 ：/ data / temp \ demo.txt -> 要删除的父目录 / data /

源码调试截图：HdfsHelper 类中
在这里插入图片描述

寻找父路径
在这里插入图片描述
在这里插入图片描述

删除
在这里插入图片描述

修改意见： 自定义分隔符 dirSeparator，默认为 IOUtils.DIR_SEPARATOR_UNIX ， 替换 原来的 IOUtils.DIR_SEPARATOR，如果确实有windows服务端情况，可通过自定义jvm参数 -Ddir_separator=\ 修改

修改 HdfsWriter 类中 265 - 326行 为如下

//自定义分隔符,默认DIR_SEPARATOR_UNIX 
//可以通过定义jvm参数 dir_separator修改
static Character dirSeparator;
        static {
            dirSeparator = Optional.ofNullable(System.getProperty("dir_separator"))
                    .map(i -> i.toCharArray()[0]).orElse(IOUtils.DIR_SEPARATOR_UNIX);
        }


        private String buildFilePath() {
            boolean isEndWithSeparator = false;
            switch (dirSeparator) {
                case IOUtils.DIR_SEPARATOR_UNIX:
                    isEndWithSeparator = this.path.endsWith(String
                            .valueOf(IOUtils.DIR_SEPARATOR_UNIX));
                    break;
                case IOUtils.DIR_SEPARATOR_WINDOWS:
                    isEndWithSeparator = this.path.endsWith(String
                            .valueOf(IOUtils.DIR_SEPARATOR_WINDOWS));
                    break;
                default:
                    break;
            }
            if (!isEndWithSeparator) {
                this.path = this.path + dirSeparator;
            }
            return this.path;
        }

        /**
         * 创建临时目录
         *
         * @param userPath
         * @return
         */
        private String buildTmpFilePath(String userPath) {
            String tmpFilePath;
            boolean isEndWithSeparator = false;
            switch (dirSeparator) {
                case IOUtils.DIR_SEPARATOR_UNIX:
                    isEndWithSeparator = userPath.endsWith(String
                            .valueOf(IOUtils.DIR_SEPARATOR_UNIX));
                    break;
                case IOUtils.DIR_SEPARATOR_WINDOWS:
                    isEndWithSeparator = userPath.endsWith(String
                            .valueOf(IOUtils.DIR_SEPARATOR_WINDOWS));
                    break;
                default:
                    break;
            }
            String tmpSuffix;
            tmpSuffix = UUID.randomUUID().toString().replace('-', '_');
            if (!isEndWithSeparator) {
                tmpFilePath = String.format("%s__%s%s", userPath, tmpSuffix, dirSeparator);
            } else if ("/".equals(userPath)) {
                tmpFilePath = String.format("%s__%s%s", userPath, tmpSuffix, dirSeparator);
            } else {
                tmpFilePath = String.format("%s__%s%s", userPath.substring(0, userPath.length() - 1), tmpSuffix, dirSeparator);
            }
            while (hdfsHelper.isPathexists(tmpFilePath)) {
                tmpSuffix = UUID.randomUUID().toString().replace('-', '_');
                if (!isEndWithSeparator) {
                    tmpFilePath = String.format("%s__%s%s", userPath, tmpSuffix, dirSeparator);
                } else if ("/".equals(userPath)) {
                    tmpFilePath = String.format("%s__%s%s", userPath, tmpSuffix, dirSeparator);
                } else {
                    tmpFilePath = String.format("%s__%s%s", userPath.substring(0, userPath.length() - 1), tmpSuffix, dirSeparator);
                }
            }
            return tmpFilePath;
        }
    }

重新打包：
在这里插入图片描述
在这里插入图片描述

打包完的jar包 替换到原来的plugin\writer\hdfswriter中

再次尝试
在这里插入图片描述

执行成功：
在这里插入图片描述

上hdfs查看一下
在这里插入图片描述

也成功上传，目录没有被删除。另外，如果出现多个文件 可以把json中job中的channel改为1的

再测试从 hdfs 读数据到内存中再打印
{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/data/*",
                        "defaultFS": "hdfs://139.9.xxx.157:9000",
                        "column": [
                              {
                                "index": 0,
                                "type": "string"
                               },
                               {
                                "index": 1,
                                "type": "long"
                               },
                               {
                                "index": 2,
                                "type": "double"
                               },
                               {
                                "index": 3,
                                "type": "string"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t"
                    }

                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

很顺利，成功：
在这里插入图片描述

最后再测试从 mysql 同步数据到 hdfs

在这里插入图片描述

json：文件

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 1
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "xxxx",
                        "column": [
                            "id",
                            "parent_id",
						  "name"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "di"
                                ],
                                "jdbcUrl": [
									"jdbc:mysql://localhost:3306/xxxxx"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://139.9.xxx.157:9000",
                        "fileType": "text",
                        "path": "/data/",
                        "fileName": "mysqlToHdfs.txt",
                        "column": [
                           {
                                "name": "id",
                                "type": "BIGINT"
                            },
                            {
                                "name": "parent_id",
                                "type": "BIGINT"
                            },
                            {
                                "name": "姓名",
                                "type": "VARCHAR"
                            }
                            
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        
                    }
                }
            }
        ]
    }
}

执行：
在这里插入图片描述

在这里插入图片描述

上hdfs查看一下

在这里插入图片描述

我不是文盲
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop mysql 拒绝连接_sqoop从mysql导入hdfs数据过程遇到的问题
weixin_34809240的博客
01-30 721
1.由于没启动dfs报错laocalhost:9000端口拒绝访问:使用jps指令查看集群的的启动状态发现时namenode,datenode未启动使用start-dfs.sh 启动hdfs2.java.lang.IllegalArgumentException: The ServiceName: mapreduce-shuffle set in yarn.nodemanager.aux-se...
# 用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空，报错：Unknown column ‘????‘ in ‘field list‘
mh6666的博客
04-21 1048
用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空 报错如下：
mysql导入hdfs指定位置_mysql导入到hdfs中常见问题
weixin_31749595的博客
01-18 154
mysql导入到hdfs中命令：sqoop import --connect jdbc:mysql://192.168.0.161:3306/angel --username anqi -password anqi --table test2 --fields-terminated-by '\t' -m 1常见问题1：Warning: /opt/cloudera/parcels/CDH-5.12....
hdfs mysql sqoop 失败_Sqoop采集mysql数据到HDFS遇到的坑
weixin_42552637的博客
02-15 677
1. 在sqoop进行数据迁移时，我写了几个简单的脚本，便于后续做定时任务① 要进行数据导出的数据库信息配置脚本(db_xxx.sh)#!/bin/sh# 数据库信息export username='root'export password='12345678'export database_url='jdbc:mysql://localhost:3306'# 数据库名字export base_d...
mysql返回最后一行数据库,MySQL存储过程只返回最后一行数据
weixin_35178718的博客
01-19 352
I am calling a MySQL stored procedure that should return about 6000 rows. But it is only returning the very last row. After looking at it, I am unable to see why it will only return the very last row ...
利用datax將數據從mysql導入到hdfs上，出現列配置信息有誤，因爲您的配置的任務中，源頭讀取字段數和寫入的字段數不相等
m0_37759590的博客
03-11 490
## 利用datax將數據從hdfs導入到mysql上，出現列配置信息有誤，因爲您的配置的任務中，源頭讀取字段數和寫入的字段數不相等
MySql准实时同步数据到HDFS(单机版).docx
09-10
【MySQL准实时同步数据到HDFS（单机版）】 MySQL到HDFS的数据同步是一个常见的需求，特别是在大数据处理和分析的场景中。本方案提供了一种单机版的实现方式，利用一系列开源工具进行数据流的传递。以下是具体的技术...
基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具.zip
03-20
标题中的“基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具”指的是一个利用 DataX 框架开发的实用程序，该程序能够高效地将存储在 MySQL 数据库中的数据迁移或实时同步到 Hadoop 分布式文件系统（HDFS）上。...
Kettle上连接HDFS，同步虚拟机上MySQL数据到HDFS
最新发布
06-16
本文主要探讨如何通过Kettle工具实现MySQL数据同步到HDFS（Hadoop分布式文件系统）的过程。Kettle是一款开源的ETL（Extract-Transform-Load）工具，能够高效地处理大量数据的提取、转换和加载工作。而HDFS则是Hadoop...
6、NIFI应用场景-离线同步Mysql数据到HDFS中
05-29
在本文中，我们将探讨如何使用NIFI实现离线同步MySQL数据库中的数据到HDFS（Hadoop分布式文件系统）中。这个过程对于大数据分析和处理至关重要，因为它允许将结构化数据集成到大数据平台中。 首先，确保你已经准备...
Binlog2Hive:MySQL增量数据实时同步到HDFSHive
04-29
项目背景RDS的数据实时同步到HDFS下，并映射到Hive原理通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段...
MySQL表数据导入HDFS报错（授权），同步时间设置
weixin_47794139的博客
05-10 604
sqoop import \ --connect jdbc:mysql://hadoop01:3306/userdb \ --username root \ --password 123123 \ --target-dir /sqoopresult \ --table emp \ --num-mappers 1 在Hadoop集群下进行sqoop数据迁移，将MySQL表数据导入HDFS中具体指令如上 然后报如下错误： ERROR manager.SqlManager: Error executing.
sqoop从mysql导入数据到hdfs报错：Connection refused 无法连接10020端口
BornZhu的博客
05-05 2940
sqoop从mysql导入数据到hdfs，报错 java.net.ConnectException: Call From bigdata001/192.168.254.128 to bigdata001:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more det
datax从mysql数据同步到hdfs,DataX实现HDFS与MySQL之间数据同步
weixin_35343856的博客
03-18 620
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件本案例仅适用于HDFS与MySQL之间的数据同步实现。1、 在编译安装之前注意将release下面的setSharePath方法中的路径改为你自己的安装路径，笔者的为/home/woody/datax/libs.2、 rpm打包之前，要修改*.spec文件中的路径，dataxpath，此外可能还需要注解掉部分赋值文件的...
sqoop mysql导入hdfs 需要注意的点
javaMylife的博客
02-27 390
1、可有可无的配置 2、sqoop导入需要指定一个字段为分割字段，select max(id),min(id) from test 然后根据指定的并行度（默认是4）进行分割，如果这个字段不是数字类型需要加上一句话 3、mysql中null值的处理，如果mysql中是null，在导入到hdfs的时候，sqoop会把null值字段，变成null字符串导入， 这样会有问题，比如我把这些数据再导入到hive，那么hive就会把null字符串，真的导成null字符了，原来mysql的null值列，在h.
MySQL表数据导入HDFS报错（授权）（2）
weixin_47794139的博客
05-12 417
前面记录了一篇解决导入报错的文章，结果后面再次导入的时候又开始报错， 先是显示无法连接数据库，我发现我的没有mysql.sock文件，按照别人的方法删掉了/var/lib/mysql下的所有文件，结果越来越离谱，后面感觉是解决不了，就卸载了重新装了，又开始显示授权的问题， ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'hadoop01'
2021-06-16 datax，running异常一直0 byteSpeed
吃素的哈士奇de博客
06-16 2576
datax，running异常一直0 byteSpeed业务类AbstractScheduler，具体代码业务类AbstractScheduler 业务类AbstractScheduler，具体代码 下面展示一些 内联代码片。 //2021-06-16 wx 为了设置一个时间段，加入一直是running，而且byteSpeed为0，说明卡住了，设置5分钟之后就直接返回failed long finalTime = System.currentTimeMillis()+300000; /*---------
Hadoop实战：使用Maxwell把MySQL数据实时同步到HDFS
mojolang
05-03 1048
Maxwell介绍 Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中，支持表和库过滤。 → Reference：http://maxwells-daemon.io → Download:https://github.com/zendesk/maxwell/releases/download/v1.10.3/ma...
sqoop从Mysql往HDFS导数据失败
xxl0769的博客
12-20 1419
脚本没问题的情况下 1.看sqoop是否能连上数据库 2.看连接的数据库IP、密码、端口是否正确
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值