写一个sqoop全量导入的shell脚本，要全定时导入昨日数据

于 2023-02-12 18:55:31 发布
阅读量104 收藏
点赞数
文章标签： sqoop hadoop 大数据 java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42600128/article/details/129573216
版权

#!/bin/bash echo "开始sqoop全量导入脚本...." today=date -d "yesterday" +"%Y-%m-%d" sqoop import
--connect jdbc:mysql://localhost:3306/dbname
--username root
--password root
--table table_name
--where "date_column='${today}'"
--target-dir hdfs://hdfs_path
--delete-target-dir
--num-mappers

十三木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实战Sqoop数据导入及大数据用户行为案例分析
02-20
05_Sqoop将MySQL数据导入到HDFS（一） 06_Sqoop将MySQL数据导入到HDFS（二） 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_...
使用sqoop把MySQL数据全量导入HDFS脚本
最新发布
weixin_67805929的博客
02-14 331
echo -e "\033[32mSqoop写入HDFS任务完成，总用时：$(date -ud "@${run_time}" +%H小时%M分%S秒\033[0m"echo "===========db:$DB,table:$var 导入 ============="#为了保护账户密码的安全性，在建立配置文件的时候可以创建为隐藏文件，并且为文件设置权限为400。#jdbc 将用户相关信息放到一个配置文件中，截取用户配置文件中的第二行。#任务开始时间转化为秒单位。#输出任务执行时间到前台。
sqoop批量建表脚本
javaMylief的博客
10-13 308
sqoop create-hive-table 支持只迁移建表语句，但是不支持批量创建，因此写了一个脚本去执行。
Sqoop接入shell脚本
shyming's blog
06-21 650
基于sqoop接入mysql到hive的shell脚本
sqoop 脚本配置
大块白云的博客
11-30 424
#!/bin/bash echo "`date`"' - Begin import table: dhc-app.or_anaesthesia_incr' import_log_file=$1 inner_report_file=$2 export HADOOP_CLIENT_OPTS="-Xmx1g $HADOOP_CLIENT_OPTS" hive -e "drop table if exists nfyy_dhcapp_20210422_1_incr.or_anaesthesia;" /bigda.
大数据——Sqoop增量导入shell脚本
Vicky_Tang
08-08 1万+
应用环境：在实际业务中，表中数据量大且历史数据不会被修改，成交订单数据，可以采用增量表导入 #!/bin/bash #传入增量导入的起始日期，若不传，则默认为前一天 args=$1 dt= if [ ${#args} == 0 ] then dt=`date -d '1 days ago' +%Y%m%d` else dt=$1 fi sqoop job --delete bap_user_order sqoop job --create bap_user_or.
Sqoop 导入数据异常处理
01-07
第一个，你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误 问题2. Exception in thread “main” java.lang.NoClassDefFoundError: org/json/JSONObject 解决方法： 这是因为sqoop缺少java-json.jar包 ...
23-Sqoop数据导入导出1
08-08
2. 练习使用Sqoop将数据从Mysql中导入到HBase中 3. 练习使用Sqoop将数据在Mysql与Hive之间的导入导出 4. Sqoop上的操作举例
星环大数据平台_Sqoop数据导入.pdf
01-15
星环Sqoop使用方法，基于星环大数据平台的Sqoop，了解Sqoop的基本功能和使用，内部培训文档
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
Sqoop-day03_export-从hdfs中到出数据到MySQL中_小总结
weixin_48370579的博客
06-19 815
export-从hdfs中到出数据到MySQL中 HDFSToMySQL 编写脚本，并保存为HDFSToMySQL.conf 在往关系型数据库中导出的时候我们要先在关系型数据库中创建好库以及表，这些sqoop不会帮我们完成。 export --connect jdbc:mysql://master:3306/student?useUnicode=true&characterEncod...
sqoop导入脚本
Small-Apple的博客
12-12 1066
shell脚本示例： #!/bin/sh source ExitCodeCheck.sh opts=$@ getparam(){ arg=$1 echo $opts |xargs -n1 |cut -b 2- |awk -F'=' '{if($1=="'"$arg"'") print $2}' } IncStart=`getparam inc_start` IncEnd=`getp...
sqoop导入数据的shell脚本
yesha_baci的博客
03-30 2098
sqoop全量导入数据，从Oracle迁移hive #!/bin/bash #sqoop执行路径 export sqoop_path=/usr/hdp/2.6.5.0-292/sqoop/bin #hive执行路径 export hive_path=/usr/hdp/2.6.5.0-292/hive2/bin #自定义的日志输出文件 export sqoop_logs=/var/log/sqoop...
sqoop的import与export及其脚本使用
热门推荐
龙子木的博客
06-07 1万+
sqoop的import与export及其脚本使用
crontab 定时任务执行sqoop任务脚本，无法查看运行日志
github_lzt的博客
12-27 2190
前段时间于到一个关于crontab定时任务的问题：问题是这样的 我通过sqoop命令将mysql数据库数据同步到hive表， linux命令行执行没毛病， 写成shell脚本，做crontab定时任务，发现执行不成功。 tail -f /var/log/cron 执行正常。 tail -f /var/mail/spool/work 没有日志输出。（我是work用户执行） 其实是sqoo...
定时自动执行Sqoop及Hive命令
东语的专栏
07-26 9422
上一篇文章中介绍了手动输入命令方式，单步执行Sqoop及Hive命令《通过sqoop进行mysql与hive的导入导出》。本文主要介绍通过编写shell命令及定时执行（crontab）方式，定时自动执行Sqoop及Hive命令。
Sqoop各种执行命令总结（详细！可直接用！）
Forever_ck的博客
12-21 3355
闲话少叙，直接上命令： 一、将Mysql表数据导入hdfs（可加过滤条件） ./sqoop import --connect jdbc:mysql://**Mysql安装的主机IP（或映射）**:3306/数据库名 --username 用户名 --password 密码 --table 表名 --target-dir 存储在hdfs上的表名 --delete-target-dir --m 1 ...
[Sqoop基础]-- 使用shell脚本执行hive、sqoop命令
欢迎来到我的博客，一起探索代码里的世界！
08-09 8416
1、test.sh脚本内容如下： #!/bin/bash #CURR_DATE=`date +"%Y-%m-%d %H:%M:%S"`------>不能使用 v_sql="insert into origin_ennenergy_energytrade.test2 values('"$(date +"%Y-%m-%d %H:%M:%S")"','"Y"')"   echo $v_sq..
Sqoop脚本调用
寒暄的博客
06-23 895
在生产环境中，肯定不能直接去跑命令，需要使用脚本文件，然后定时执行脚本文件即可。 cd /usr/hdk mkdir job cd job vi RDBMS2HDFS.opt import --connect jdbc:mysql://hadoop01:3306/cs --username root --password 123456 --table staff1 --target-dir /user/cs --delete-target-dir --num-mappers 1

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值