使用sqoop从mysql导入到hive一张名叫warehouse的表引发的问题

于 2021-10-28 13:49:17 发布
阅读量197 收藏
点赞数
分类专栏： 开发中的问题 文章标签： hive mysql sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiaoQiang_big/article/details/121012635
版权

今天,我使用sqoop导入数据的时候遇到一个很奇怪的问题,我将mysql一张名为warehouse的表导入到hive的时候,出现如下报错

提示我没有hdfs改路径的写入权限?但是正常情况我写入hdfs的路径不应该是这个路径啊,难道是日志打错了?于是我重试了几次,发现还是不行;难道是sqoop出了问题?但是我导其他表也没有问题啊;

那只能是这个表有问题了,表名为 warehouse,我们hive的库也叫warehouse,可能是有什么冲突? 然后我换了种方式,使用sqoop导入hdfs的方式,指定导入的路径,然后再用hive 加载数据,结果就成功了;

下面是脚本:

 

LiaoQiang_big
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDP 11.sqoop 将 MySQL 数据导⼊ Hive
80后大叔爱学习
11-04 1452
十二、 sqoop将 MySQL 数据导⼊ Hive 1、将 ambari.users 表导入到 dim_v8sp 数据库在 client-v01 服务器创建 etl 用户 HOME目录，生成kerberos票据文件，并添加 crontab以定期刷新飘据到缓存。 cd /home/; cp -r ./bigdata ./etl; chown -R etl:etl ./etl; rm -rf /home/etl/security/keytabs/bigdata.keytab; su - ...
sqoop导入数据到hdfs权限不足
aj_shang的博客
03-09 465
背景：使用Sqoop从MySQL导入数据到Hive。
Sqoop import加载Hive过程中，遇到Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:dr
weixin_42874157的博客
05-05 7561
Sqoop import加载Hive过程中，遇到Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 在执行hive sqoop抽取的时候，遇到了一个错误，如下图： 在执行程序的过程中，遇到权限问题很正常，也容易让人防不胜防，有问题就想办法解决，这个是关键。 解决办法如下： 第一步...
sqoop在MySQL和hive间导数遇见的几种问题
abc200941410128的博客
10-31 3662
无论是新版本，还是老版本，遇到的问题大部分都是相同的。下面解决问题的方法仅供借鉴 1.拒绝连接的错误表现是什么？ 2.表不存在该如何解决？ 3.null字段填充符该如何指定？ 最近利用sqoop在MySQL和hive间相互导数时遇见如下几种问题： 1、ip相互能够ping通，但是mysql拒绝hive的访问（已经用了root权限）。 该问题出在mysql的权限设定上，一般本地电
href动态传参
Hcy_code的博客
12-06 881
https://blog.csdn.net/muyeju/article/details/48594377?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control
数据同步Sqoop用法之mysql与Hive导入导出.docx
11-12
Sqoop 提供了灵活的数据导入方式，可以将 MySQL 数据库中的数据导入到 Hive 表中。例如，以下命令可以将 MySQL 数据库中的 people_access_log 表导入到 Hive 表 web.people_access_log 中： sqoop import \ --...
3、Sqoop导出(HDFS到RMDB-mysql)
最新发布
05-29
假设我们有一个HDFS路径`/user/hive/warehouse/test.db/person/part-m-00000`，其中包含了从MySQL导入到Hive的`person`表的数据，现在我们想要把这些数据导回MySQL。 首先，确保在MySQL中有与HDFS文件对应的表结构...
使用shell脚本执行hive、sqoop命令的方法
09-15
5. **执行Sqoop命令**：使用Sqoop命令将Hive表中的数据导出至MySQL。 ### 示例代码解析 ```bash #!/bin/bash # 定义变量 CURR_DATE=$(date +"%Y-%m-%d %H:%M:%S") # 构建Hive SQL语句 v_sql="INSERT INTO origin_...
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka，再通过存储程序将 Kafka 的数据保存至 Hive 或 HBase 中。然而，在实施过程中遇到了 Sqoop 版本兼容性问题： - **Sqoop1**：适用于命令行模式执行。...
sqoop 安装与简单使用
04-07
它提供了一个命令行界面，允许用户方便地将数据导入到 Hadoop 的 HDFS 中，或者从 HDFS 导出到 RDBMS。在本教程中，我们将详细探讨 Sqoop 的安装过程及其基本使用方法。 ### Sqoop 的安装 1. **环境准备**：确保你...
用sqoop将mysql的数据导入到hive表中
weixin_33929309的博客
12-07 552
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ ...
Sqoop导入所有一个库的所有表
阿正的博客
04-08 1977
参考：Sqoop导入所有表https://www.yiibai.com/sqoop/sqoop_import_all_tables.html https://www.jianshu.com/p/da2a073f279d利用sqoop实现mysql与Hdfs间的数据的导入导出 sqoop-import-all-tableshttps://www.liangzl.com/get-articl...
sqoop 从mysql导入hive的字段名称问题
Dean Chen的专栏
07-19 5582
hive中有些关键字限制，因此有些字段名称在mysql中可用，但是到了hive就不行。比如order必须改成order1, 下面列出了我们发现的一些不能在hive中使用的字段名称order  => order1sort => sort1reduce => reduce1cast => cast1directory => directory1
Sqoop导入导出的几个例子
qq_36864672的博客
12-21 7490
导入 例一：从DBMS到HDFS 1.node4下启动mysql service mysqld start mysql -u root -p 输入密码：123   2.node4下创建test数据库 create database test; 创建psn表   3.node2中创建sqoop_test,编辑sqoop1 import --connect jdbc...
【sqoop】使用sqoop将mysql表导入hive报错Output directory already exists
debimeng
10-04 2495
使用sqoop将mysql表导入hive报错Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists 场景： 使用sqoop将mysql表导入hive报错如下： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlr...
记一个sqoop导入缓慢问题
LZX的博客
12-11 2790
折腾近一周，来回调yarn 和map内存 情景描述： 16G4核*4机器搭了一个集群，部署hdfs MR hive zookeeper 等一些组件。欲搭建一个离线数仓。 有4，5年历史数据存在mysql中，欲将mysql导入hdfs。采用sqoop将Mysql数据lzo压缩导入hdfs。 优化过sqoop中sql后，导入速度还是异常缓慢。sql部分已经没法优化了，mysql大表查询慢我认了。 不知是机器性能问题还是什么，sqoop从查询到map过程在执行巨慢。4台机器安装完组件后，yarn可调度节点分别为（
通过sqoop将mysql数据传入hive出现多出来的脏数据
LZX的博客
03-11 409
问题描述： mysql某张表数据为410+ 通过sqoop将其导入hive中，发现多出400多条脏数据。 发现某一字段类型为String，当其含有空格等字符时会被作为新的一行数据。 原来的sqoop脚本为 import_data(){ $sqoop import\ --connect jdbc:mysql://10.70.12.17:3306/$db \ --username shdzfp_ms \ --password A@shdzfp_ms123 \ --target-dir /origin
sqoop抽取mysql的数据到hive表里面，字段内容被自动截取，导致字段不全的问题解决
放肆桀骜
10-10 793
今天央视重新转播NBA，写篇博客纪念一下这个重要的日子，湖人的表现就呵呵了！！！！ 强行转到博客的主题来 mysql的字段属性：该字段能存下的值比如：“山东” `province` varchar(3) NOT NULL COMMENT '省份' 用sqoop sqoop import --connect "jdbc:mysql://xxxxxx:3306/xxxxxx?tinyInt1isBit=false&zeroDateTimeBehavior=convertToNull..
怎么使用sqoop将mysql数据表导入hive中
05-13
要使用 Sqoop 将 MySQL 数据表导入到 Hive 中，需要遵循以下步骤： 1. 确保已经安装了 Sqoop 和 Hive。 2. 在 Hive 中创建一个数据库，用于存储导入的数据表。 3. 在 HDFS 中创建一个目录，用于存储导入的数据。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值