# 用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空，报错：Unknown column ‘????‘ in ‘field list‘

最新推荐文章于 2023-11-02 16:04:52 发布
最新推荐文章于 2023-11-02 16:04:52 发布
阅读量1k 收藏
点赞数
文章标签： mysql etl sqoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mh6666/article/details/115943830
版权
使用Sqoop从MySQL导入数据到HDFS时遇到'Unknown column’???‘ in ‘field list’错误，原因是目标表包含中文字段。解决方案是在Navicat中将表的中文字段名改为英文，重新执行导入命令后，数据成功导入并可在HDFS中查看。
摘要由CSDN通过智能技术生成

用Sqoop将MySQL的表导入到HDFS中，报错：Unknown column ‘???’ in ‘field list’

1. 报错如下：

在这里插入图片描述
在这里插入图片描述
2. 报错原因

注意看报错的这里：
在这里插入图片描述
主要是因为我们导入的目标表的字段为中文，识别不了

3. 解决问题：

我们在Navicate里将表的字段改成英文即可
在这里插入图片描述
我们再输入命令导入：

sqoop import --connect jdbc:mysql://192.168.43.156/xscj --username root --password root --table taobao --delete-target-dir
//--delete-tartget-dir删除已经存在的表（我
最低0.47元/天 解锁文章
Quan_Mu
关注
Sqoop抽数到Hive表异常分析
weixin_42656794的博客
11-27 688
Question1 使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行但数据没有写入Hive的表中，执行的Sqoop抽数脚本如下 export HADOOP_USER_NAME=hive sqoop import \ --connect "jdbc:mysql://cm-server:3306/cm" \ --username cm \ --password password \ -...
使用sqoop将MySQL数据导入hdfs时报错HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}
weixin_57597001的博客
10-06 594
查看报错内容 原因是mapred-site.xml配置文件少了内容 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value> </property> <property> <name&g...
sqoop导入hive成功，hive查不到数据
超的专栏
07-16 1640
sqoop导入hive成功，hive查不到数据
使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
热门推荐
勤能补拙
12-15 1万+
一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二、
sqoop从mysql导入数据到hdfs之后，多出一些null数据和一些奇怪的数据
qq_20790447的博客
05-23 714
问题： sqoop从mysql导入数据到hdfs之后，多出一些null数据和一些奇怪的数据。 解决方法： 在sqoop_import脚本里面添加 /opt/module/sqoop/bin/sqoop import –connect jdbc:mysql://数据库链接/数据库名 –username 用户名 –password 密码 –target-dir /zjyz_origin_data/ –delete-target-dir –num-mappers 1 –fields-terminate
sqoop从Mysql往HDFS导数据失败
xxl0769的博客
12-20 1447
脚本没问题的情况下 1.看sqoop是否能连上数据库 2.看连接的数据库IP、密码、端口是否正确
用sqoop2从mysql导入数据到hbase
勿忘始终
08-15 3635
用sqoop2从mysql导入数据到hbase 标签（空格分隔）： sqoop2 hbase hadoop mysql 数据迁移 一、基础环境 hadoop-2.6.0 sqoop-1.99.6 hbase-1.0.1.1 二、数据迁移实际操作步骤 1、mysql中表结构显示 CREATE TABLE `risk_trade_error_result` ( `SERI...
使用sqoop将数据从mysql导入hive遇到的问题
天天臭乐呵
07-03 2193
问题1：java.lang.ClassNotFoundException: org.json.JSONObject错误16/06/07 08:49:01 WARN manager.MySQLManager: It looks like you are importing from mysql. 16/06/07 08:49:01 WARN manager.MySQLManager: This tr...
root@zhaosai conf]# sqoop import --connect jdbc:mysql://192.168.160.130:3306/mydb --username root -P --table news --hive-import --hive-table mydb.news --incremental append --check-column id --last-value 0 --split-by id --target-dir /hdfs://zhaosai:9000/user/hive/warehouse/news --num-mappers 1 23/06/07 17:23:56 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 Enter password: 23/06/07 17:24:04 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override 23/06/07 17:24:04 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc. 23/06/07 17:24:04 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 23/06/07 17:24:04 INFO tool.CodeGenTool: Beginning code generation Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary. 23/06/07 17:24:04 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `news` AS t LIMIT 1 23/06/07 17:24:04 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `news` AS t LIMIT 1 23/06/07 17:24:04 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/programs/hadoop-2.7.6 注: /tmp/sqoop-root/compile/b07035b094b6ac39b87f2ef11261c934/news.java使用或覆盖了已过时的 API。 注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。 23/06/07 17:24:05 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/b07035b094b6ac39b87f2ef11261c934/news.jar 23/06/07 17:24:05 INFO tool.ImportTool: Maximal id query for free form incremental import: SELECT MAX(`id`) FROM `news` 23/06/07 17:24:05 ERROR tool.ImportTool: Import failed: java.io.IOException: java.sql.SQLSyntaxErrorException: Unknown column 'id' in 'field list' at org.apache.sqoop.tool.ImportTool.initIncrementalConstraints(ImportTool.java:322) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:511) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252) Caused by: java.sql.SQLSyntaxErrorException: Unknown column 'id' in 'field list' at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97) at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122) at com.mysql.cj.jdbc.StatementImpl.executeQuery(StatementImpl.java:1200) at org.apache.sqoop.tool.ImportTool.getMaxColumnId(ImportTool.java:238) at org.apache.sqoop.tool.ImportTool.initIncrementalConstraints(ImportTool.java:309)
06-08
根据你提供的信息，这是一个使用Sqoop从MySQL导入数据到Hive的命令。但是，在执行命令时出现了错误。错误信息是“Unknown column 'id' in 'field list'”，意思是在字段列表中找不到名为“id”的列。这可能是因为在...
Sqoop 1.99.7 客户端操作实践
wqhlmark64的博客
06-15 6393
自1.99.7开始，客户端的一些操作关键字和参数发生了变化，网上很多还是早期版本，对照操作时难免一些命令或选项会报错。这里把本地实际操作过程及注意事项记录如下，作后续参考。 1. bin/sqoop.sh client 启动客户端
linux 版kettle自动清理缓存,任务只有第一次执行有效果,任务执行成功但是hdfs没有数据写入
qq_36640234的博客
04-25 1616
linux版kettle 8.2不能自动清缓存,导致任务只能执行一次,后面就再执行也没有效果了(比如说mysql导入数据到hdfs,日志明明显示执行成功但是hdfs没有数据写入),此时数据会被写入到kettle根目录 缓存在以下目录 /opt/data-integration/system/karaf/ 解决方法:因为kettle执行任务的脚本是 pan.sh,所以在pan.sh里#!/bin/sh下面加一行 rm -rf /opt/kettle/system/karaf/caches/{kit
查询使用sqoop从mysql导入hive的数据时，查询结果为NULL
qq_39576369的博客
09-30 1083
出现此问题的原因是，你在创建hive表的时候没有指定表的字段以什么分隔，而执行sqoop导入命令时指定的分隔符和创建hive表时默认的分隔符不一致，导致查询时全为空值。 解决方法就是把表删了，重新创建，指定分隔符。 create table stu(id int,name string,sex string) row format delimited fields terminated by ‘\...
《Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入》
司小幽
08-16 6210
一、生产环境 Oracle:11g R2版本 Sqoop:1.4.6版本 Hive:1.1.1版本（利用MySQL作为MetaStore） Hadoop:2.6.3版本 (其中Sqoop、Hive、Hadoop均是搭建在Centos6.6 64位上的） 远程登录软件:Xshell 5 二、需求 需要将Oracle中的多张表通过Sqoop导入至Hive中，Oracle在远程服
Sqoop导入丢失数据
weixin_43793061的博客
03-21 2956
sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。 但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型： 一、工具使用者使用不善导致的 sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文件路径load到hive表中。所以需要用户...
代码连接sqoop 导入hdfs 遇到的一些问题
weixin_41660300的博客
03-26 552
最近有要用到sqoop，但是不能以脚本的形式。研究了一下，中途有遇到一些坑，所幸最后成功， 在这里记录一下，自己做个笔记，也希望能帮助到别人。 首先说下我的集群环境以及mysql版本 集群： hadoop 版本3.0 MySQL 5.7 sqoop 版本 maven坐标中显示的版本是1.4.6 这里需要注意的是 maven中的jar是下载不下来的，我个人自作聪明的从maven 仓库手动下载，然后 自个 建立本地坐标（事实上这个是一个坑，我们稍后说明） maven 坐标为 org.apache.sqoop
MySql插入任何数据,查询到的都是NULL
our小幸福的博客
07-23 6531
初入编程,记录自己的每一步 按照网上的教程安装完成MySql-8.0.11 安装教程请转这里 测试时没有问题、创建数据库、创建表、插入查询都正常 随后在使用过程中发现,新建的表可以正常插入数据；但是插入后查询到的所有值都为NULL，而且字段设置的是not null 没多想，以为是编码问题，导致中文无法插入  试着插入英文和数字，结果查询还是NULL 后来研究到原因： 在安装完数据...
Hadoop完全分布式启动成功后，HDFS监控内存等信息全为0
zx_8080的博客
11-02 437
4.找到data的VERSION文件，将文件中的clusterID的值换成上边复制的内容。在master节点下找到hadoop-3.1.4的安装目录。3.打开相应路径，找到VERSION，进行复制。2.打开集群的配置文件，找到相应路径。找到下边这行代码复制一下。
sqoop mysql导入hdfs 需要注意的点
javaMylife的博客
02-27 430
1、可有可无的配置 2、sqoop导入需要指定一个字段为分割字段，select max(id),min(id) from test 然后根据指定的并行度（默认是4）进行分割，如果这个字段不是数字类型需要加上一句话 3、mysql中null值的处理，如果mysql中是null，在导入到hdfs的时候，sqoop会把null值字段，变成null字符串导入， 这样会有问题，比如我把这些数据再导入到hive，那么hive就会把null字符串，真的导成null字符了，原来mysql的null值列，在h.
使用Sqoop将Mysql中mydb数据库rccord表里的数据导入到HDFS/mysqoop2目录里
最新发布
10-10
以下是使用Sqoop从MySQL数据库中导入数据到HDFS的基本步骤： 1. **安装和配置 Sqoop**: 首先，确保已经在Hadoop集群上安装了Sqoop，并配置好环境变量。通常需要配置MySQL JDBC驱动和HDFS连接信息。 2. **创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值