Sqoop的简单使用案例(第4章)之Sqoop脚本打包

最新推荐文章于 2021-11-30 22:22:00 发布
最新推荐文章于 2021-11-30 22:22:00 发布
阅读量156 收藏
点赞数
分类专栏： 智能大数据体系 # Sqoop 文章标签： Sqoop的简单使用案例(第4章)之Sqoop脚本打包
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45651336/article/details/103040273
版权

Sqoop的简单使用案例(第4章)之Sqoop脚本打包

使用opt格式的文件打包sqoop命令，然后执行

  1. 创建一个.opt文件
$ mkdir opt
$ touch opt/job_HDFS2RDBMS.opt
  1. 编写sqoop脚本
$ vi opt/job_HDFS2RDBMS.opt

export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
000000
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"
  1. 执行该脚本
$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt
鞋子不会飞
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sqoop（三）—— Sqoop脚本打包
分享AI工具、AI技术、AI学习经验，感谢大家关注
03-11 679
文章目录1. 脚本打包2. Sqoop一些常用命令及参数2.1 job命令 1. 脚本打包 使用opt格式的文件打包Sqoop命令，然后执行。 (1) 创建一个.opt文件 # 创建一个.opt文件 touch job_HDFS2RDBMS.opt job_HDFS2RDBMS.opt文件内容如下： # 以下命令是从stu中追加导入到MySQL的stu_hive表中 export --conne...
Sqoop中脚本打包
while false
09-13 369
1.创建一个.opt文件 touch test.opt; 2.编写Sqoop脚本 vi test.opt;      将下面代码写入脚本文件中 export \ --connect jdbc:mysql://172.17.0.6:3306/ys \ --username root \ --password root \ --table test \ --num-mappers 1 ...
【sqoop】简介、原理、安装配置测试、导入导出案例、脚本打包、常见命令及参数介绍、常用命令举例...
USTSD的博客
11-30 178
一、sqoop简介 用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 二、sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对...
Sqoop脚本调用
寒暄的博客
06-23 900
在生产环境中，肯定不能直接去跑命令，需要使用脚本文件，然后定时执行脚本文件即可。 cd /usr/hdk mkdir job cd job vi RDBMS2HDFS.opt import --connect jdbc:mysql://hadoop01:3306/cs --username root --password 123456 --table staff1 --target-dir /user/cs --delete-target-dir --num-mappers 1
黑猴子的家：Sqoop 脚本打包
黑猴子的博客
09-09 222
使用opt格式的文件打包sqoop命令，然后执行 1、创建一个.opt文件 [victor@node1 sqoop-1.4.7]$ mkdir opt [victor@node1 sqoop-1.4.7]$ touch opt/job_HDFS2RDBMS.opt 2、编写sqoop脚本 [victor@node1 sqoop-1.4.7]$ vim opt/job_HDFS2RDB...
MySqoop_Sqoop脚本生成_sqoop脚本_
09-30
本篇文章将详细讲解 Sqoop 脚本生成的相关知识，并介绍如何使用可视化工具"MySqoop"来生成Sqoop脚本。 首先，让我们理解什么是Sqoop脚本。Sqoop脚本是预定义的一系列操作，包括连接数据库、指定表、定义转换规则、...
实战Sqoop数据导入及大数据用户行为案例分析
02-20
实战Sqoop数据导入及大数据用户行为案例分析（全套视频+代码+工具+课件讲义） ...09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_案例分析-源表的分区加载创建 12_案例分析-指标分析使用Sqoop导出
Sqoop安装与使用
06-21
Sqoop 工具的发展至今主要演化了二大版本，Sqoop1 和 Sqoop2，我们以 Sqoop1 为案例进行讲解，Sqoop2 商用不太稳定。 Sqoop 工具是一个非常有用的数据迁移工具，可以帮助用户将传统型数据库中的数据迁移到 Hadoop ...
sqoop 使用手册
04-03
3. 数据转换：在导入或导出过程中，Sqoop 支持对数据进行简单的转换，如字段映射、类型转换等。 4. 效率优化：通过并行操作和缓冲机制，Sqoop 能够提高数据传输的速度和效率。 二、Sqoop 的工作原理 1. 连接...
第十二节、sqoop的安装与使用.pdf1
08-03
【Sqoop的安装与使用详解】 Sqoop是一个用于在Hadoop和传统的关系型数据库之间进行数据迁移的工具，它能够方便地将数据导入HDFS或者从HDFS导出到关系数据库。以下是关于Sqoop的安装配置及常用功能的详细说明。 ##...
sqoop 脚本打包
qq_43193797的博客
02-15 277
每次在终端手动输入那些参数是比较麻烦的, 一般实际使用的时候都会做成 Sqoop 能用的脚本. 脚本一般用 .opt 这样的文件. 当然扩展名无所谓, 用啥都可以! 步骤1: 创建文件 mkdir opt touch job_HDFS2RDBMS.opt 步骤2: 编写sqoop脚本 # 导出 export # 连接到 Mysql --connect jdbc:mysql://...
大数据（二十六）：Sqoop的import、export命令和命令脚本
敲代码的旺财的博客
10-18 1628
一、sqoop导入命令（import）         在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据。 1.在MySql中新建一张表并插入一些数据 create database company; create table company.staff(id int(4) primary key not null aut...
04sqoop脚本打包
hao难懂的博客
08-22 113
1.创建一个.opt文件 mkdir opt touch opt/job_HDFS2RDBMS.opt 2.编写sqoop脚本 vi opt/job_HDFS2RDBMS.opt export --connect jdbc:mysql://hadoop102:3306/company --username root --password 000000 --table staff -...
sqoop导出脚本（不同库）
Small-Apple的博客
12-12 1558
shell脚本： #!/bin/sh source ExitCodeCheck.sh opts=$@ getparam(){ arg=$1 echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}' } IncStart=`getparam inc_start` IncEnd=`getpar...
二、Sqoop 的导入导出及任务脚本
嘻哈吼嘿呵的博客
10-04 679
目录 一、导入数据 1、RDBMS 到 HDFS 2、RDBMS 到 Hive 3、RDBMS 到 Hbase 三、导出数据 1、HIVE/HDFS 到 RDBMS 四、脚本打包 一、导入数据 在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS， HIVE，HBASE）中传输数据，叫做：导入，即使用 import 关键字 1、RDBMS 到 ...
sqoop脚本
qq_43827516的博客
05-12 1140
sqoop导出脚本（不同库） #!/bin/sh source ExitCodeCheck.sh opts=$@ getparam(){ arg=$1 echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}' } IncStart=`getparam inc_start` IncEnd=`getparam inc_end` oracle_connection=`getparam jdbc_s
Perl脚本使用小总结
weixin_45074569的博客
06-19 2289
一，chop和chomp函数区别： **相同点：**可以删除标量后的最后一个字符 不同点： 1>,chop是删除标量的最后一个字符或数组中每个元素的最后一个字符； 2>,chomp是删除标量最后的换行符，只删除最后的换行符！！！没有换行符则不删除； 简单写法： chomp ($text = <STDIN>); #读入，但不含换行符 分两步写: text=<STDIN>;chomp(text = <STDIN>; chomp (text=<STDIN&
Sqoop的简单使用案例和一些常用命令及参数
Faded1573606285的博客
09-23 1023
Sqoop的简单使用案例 1、导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 1.1、RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql&gt...
尚硅谷大数据技术之Sqoop1
最新发布
08-04
Sqoop的简单使用案例展示了如何通过Sqoop命令实现数据的导入操作，为用户提供了一个简单而高效的数据传输解决方案。通过学习Sqoop，用户可以更好地利用大数据技术，实现数据的有效管理与分析，为企业的发展和决策...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值