sqoop的使用(一般在ODS层导入数据使用)

已于 2023-06-14 14:04:43 修改
阅读量277 收藏
点赞数
分类专栏： 大数据 文章标签： sqoop hive 数据库 大数据
于 2022-08-18 10:40:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43165304/article/details/126359548
版权
该博客介绍了如何使用Sqoop将MySQL数据导入HDFS，并通过Hcatalog创建和导入ORC格式的Hive表。强调了Sqoop的导入选项，如`--query`、`--target-dir`、`--import-hive`等，以及Hcatalog在处理ORC存储格式中的作用。同时指出，虽然Spark SQL无法直接创建ORC表，但可以通过Hive来实现。
摘要由CSDN通过智能技术生成

sqpoop    
    导入
        sqoop import
            --connect    jdbc:mysql://node1:3306/database 
            --username    
            --password    
            --table 连接表名 || --query  sql语句
            
        导入到hdfs
            --target-dir  指定导入路径
            --delete-target-dir 路径存在删    
            
        导入表
            --import-hive  声明导入到hive表
            --import-overwrite  不写为追加
            --hive-table    指定表名    
            
        使用hcatalog    
            --hcatalog-database  库名 \
            --hcatalog-table 表名 \            
            
            -m 1 
            --fields-terminated-by  分隔符
            
        hcatalog    
            可以导入ORC或parquet存储格式的表
            spqrkSQL不能直接创建ORC格式的表,使用hive创建
            saprk-SQL无法创建orc数据,借助hive创建orc格式数据
            创建后使用hcatalog导入数据hive中创建的orc格式表格中

只会写bug的Luigi
关注
专栏目录
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
奇迹虎虎的博客
02-17 902
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
sqoop导入数据到hive ods层
weixin_42219734的博客
05-18 2001
# !/bin/bash# 功能:把源数据表加载到hive ods层# 输入参数据:$1 源数据库 $2 源表名 $3 增全量 $4加载数据日期 $5增量字段1 $6增量字段2 $增量字段3# 如果是全量 增量字段不需要输入# $4加载日期如果不输入 则认为是加载昨日数据# $5,$6,$7 根据实时情况输入# 例：sh sqoop_mysql_hive_table.sh athletics c_...
sqoop数据迁移
bitmao888的博客
04-25 612
文章目录概述1、sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。2、sqoop1与sqoop2架构对比3、工作机制sqoop安装1、下载并解压2、修改配置文件3、加入额外的依赖包4、验证启动Sqoop的数据导入表数据1、导入数据库表数据到HDFS2、导入到HDFS指定目录3、导入关系表到HIVE4、导入关系表到hive并自动创建hive表5、sql语句查找导入...
sqoop hcatalog数据导出
onway_goahead的博客
06-13 619
将分区表中的数据导入mysql 创建mysql表 create table if not exists test.test_product_id ( product_id bigint(11) comment "商品ID", product_name varchar(255) comment "商品名称", settle_price decimal(20, 2) comment "结算价格", product_main_id bigint(11) comment "主商品ID...
hcatalog配置以及sqoop集成使用
ImezZ
01-13 3934
hcatalog配置以及sqoop集成使用 1、环境变量配置 vim ~/.bashrc export HCAT_HOME=/usr/hive/hcatalog export PATH=$PATH:$HCAT_HOME/bin 2、查看hive版本下载对应的hive-hcatalog放在hcatalog目录下 查看hive版本 hive --version Hive 2.3.6 我的hive版本是2.3.6，则在maven库下载对应的jar包 https://mvnrepository
在使用sqoop拉取mysql的数据到hive中的ods层时，报错ERROR manager.SqlManager，怎么解决？
qq_43368947的博客
07-09 571
问题详情 1.在用sqoop拉取mysql数据到hdfs上映射到hive的ods层的时候，报错数据库权限问题。 2.拉取数据的代码展示 sqoop job --delete ods_user05 sqoop job --create ods_user05 \ -- import \ --connect jdbc:mysql://192.168.1.54:3306/snbap_ods \ --driver com.mysql.jdbc.Driver \ --username root \ --passwor
sqoop导入mysql定时_sqoop 导入数据 全库导入 创建job,实现定时增量导入
weixin_36465073的博客
02-11 516
先从功能简单的开始介绍，sqoop导入单个表到hive：sqoop import \--connect jdbc:mysql://192.168.49.214:3306/mysqlcdc--username root \--password 123456 \--table data \--hive-import \--fields-terminated-by '\t' \-m 1这是最简单的将my...
大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化
u013250861的博客
07-13 2013
一、访问咨询主题看板 1. 需求分析 目的: 分析每一个调研需求需要计算什么指标, 以及计算这个指标需要通过那些维度,而且还包括计算这个需求涉及 到那些表和那些字段 需求1: 统计指定时间段内，访问客户的总数量。能够下钻到小时数据 指标: 访问量 维度: 时间维度: 年 季度 月 天 小时 涉及到哪些表: web_chat_ems_2019_12 涉及到哪些字段: 时间维度: create_time 说明: 发现create_time字段中包含有年 月 天 小时
sqoop的表的导入
weixin_46787788的博客
07-11 262
#------ hdfs -> mysql ------ create table sqp_order( create_date date, user_name varchar(20), total_volume decimal(10,2) ); sqoop export \ --connect jdbc:mysql://singlelucky:3306/test \ --username root \ --password kb12kb12 \ --table sqp_order \ -m 1 \
Sqoop介绍及数据迁移
qianchun22的博客
09-29 383
Sqoop介绍及数据迁移Sqoop介绍数据迁移一、从RDB导入数据到HDFS1、导入表到HDFS1.1 通过Where语句过滤导入表1.2 通过COLUMNS过滤导入表1.3 使用query方式导入数据1.4 使用Sqoop增量导入数据2、导入文件格式二、从RDB导入数据到Hive1、直接导入数据到Hive2、导入数据到Hive分区三、从RDB导入数据到HBase导入MySQL数据到HBase四、导出HDFS数据到MySQL使用sqoop export导出数据到MySQL Sqoop介绍 1、Sqoop是一
sqoop-orc-import
05-06
Sqoop with orc file Version : sqoop1.4.5 (CDH540) Description 在Sqoop import的方法中，增加生成ORC File格式的命令. Build 源码取自于 使用ant build Usage 在import命令中，增加: --as-orcdatafile Examples sqoop import -D hadoop.job.history.user.location=none --connect 'jdbc:sqlserver://...' --table {talbeName} --columns ... --target-dir hdfs:// -m 20 --outdir /... --as-orcdatafile --driver com.microsoft.sqlserver.jdbc.SQLServerDriv
数据同步工具—Sqoop
09-30 4万+
Sqoop 作为一个数据同步工具，主要用于关系型数据库和Hadoop的数据相互同步。table 模式query 模式job 主要解决了增量同步的元数据(last-value)维护问题，当然本身也可以用来做非增量的同步，ETL 中更常用的增量模式是通过query 来完成的，这是因为query 模式更加灵活。
Sqoop-将Hive ORC表导出到MySQL（全量、更新）
weixin_30856965的博客
03-29 959
Sqoop-将Hive ORC表导出到MySQL 全量： sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password 1234qwer --table company_test --hcatalog-database view_company --hcatalog-table com...
Sqoop 支持 ORC 文件格式
hellojoy的博客
06-22 2156
ORC 介绍 ORC 文件格式是 Hive 0.11.0 版本引入的一种文件格式。ORC 的引入是为了解决其他 Hive 文件格式的局限性。使用 ORC 文件格式提升 Hive 读取、写入及处理数据的性能。 与 RCFile 对比，ORC 文件格式有很多优点： 每个 Task 只输出一个文件，降低 NameNode 的负载。 Hive 数据类型支持，包括：datetime、decimal 以及复杂数据类型（struct、list、map、union）。 文件中存储轻量级的索引： 跳过不通过谓
sqoop导入数据到hive已存的ORC表
AnameJL的博客
07-28 1341
sqoop数据导入
Sqoop 加载数据到ORC表
数据源的港湾
03-21 7817
sqoop目前支持直接从RDBMS加载数据到Hive的ORC表，这可以通过两种方式实现。 先创建Hive ORC表，然后用sqoop import命令将数据导入到Hive ORC表 利用sqoop import同时创建Hive ORC表并加载数据 这里简单测试一些用sqoop从Oracle表导入到Hive ORC表，具体方法如下 （1）//hive CLI创建orc测试表 hive> create
sqoop导入操作（全）及遇到的问题
weixin_43140586的博客
02-03 2702
sqoop导入操作（全）及遇到的问题 一、sqoop 全量导入 1、mysql->hive （1）语句总结： sqoop import --connect jdbc:mysql://$hostname:$port/$datebase_name \ #mysql数据库的连接 --username *** --password *** \ --table $table_name #这里指mysql的表名 #--query "sel.. where 条件
sqoop从hive导入orc格式数据到mysql
weixin_45621200的博客
12-15 3137
首先上命令，因为我是在python中执行的，所以得以命令行的形式传递到调度： import subprocess as commands command = 'sqoop export ' \ "--connect 'jdbc:mysql://{host}/{db}?characterEncoding=utf8&autoReconnect=true' " \ '--username {user} ' \ '--pa
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档
热门推荐
赵延东的一亩三分地
03-22 16万+
本片文章将通过实验详细介绍如何增量同步数据到hive，以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。
在虚拟机Node02执行Sqoop命令将MySQL数据库的用户会话信息表web_chat_ems_2019_07 中的数据迁移到Hive数据仓库源数据层的web_chat_ems_ods源数据表
最新发布
06-03
您可以使用以下命令在Node02虚拟机上执行Sqoop命令将MySQL数据库的用户会话信息表web_chat_ems_2019_07中的数据迁移到Hive数据仓库源数据层的web_chat_ems_ods源数据表： ``` sqoop import \ --connect jdbc:mysql:...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值