shell+sqoop 实现数据抽取的面向对象设计

最新推荐文章于 2024-04-22 16:49:46 发布
最新推荐文章于 2024-04-22 16:49:46 发布
阅读量635 收藏 7
点赞数 2
分类专栏： linux积累
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/resin_404/article/details/118092868
版权

Shell脚本 Sqoop 数据抽取 自动化 元数据管理
关键词由CSDN通过智能技术生成
工作痛点：离线抽取数据，抽取逻辑变动大，增加表的频率高，更新表字段的频率高。手动需要完成虽然工作量不大，但占用时间长，并且技术含量低，重复劳动。

组件： shell 、 sqoop

主体流程框架

在这里插入图片描述
具体每个模块详细信息如下：

第一模块：数据库连接配置文件详情

样例如下：
jdbc_conf.cfg

[1sqlserver]          --数据库信息代理名
ip=192.168.5.250      --连接地址
port=1433             --连接端口       
username=root         --连接用户名
password=passwordname --连接密码

[2sqlserver]          --数据库信息代理名
ip=192.168.5.251
port=3306
username=root
password=passwordname

第二模块 表配置信息文件详情

（可根据具体情况使用不同的配置文件，例如：数据表配置文件，配置表数据文件，历史数据抽取配置文件等）
样例如下：

[table1]                            --表名称(和shell主程序中需要遍历的表清单名一致)
source_db=master                    --源库名
source_schema=info                  --源模式名
source_tablename=sourcetable1       --源表名
source_jdbc=1sqlserver              --数据库信息代理名
target_tablename=table1             --目标表名
target_db=stage_commDB              --目标库名
insert_type=overwrite               --数据更新方式为覆盖更新
partition=1                         --分区设置为 无分区
separator=|                        --HDFS文本分隔符
hiveFile_type=text                 --数据文件类型
column=id,pid,mid,created_time,updated_time,intime  --sqoop执行抽取时需要抽取的字段
where:1=1                          --sqoop抽取时执行的sql查询语句的where条件

[table2]
source_db=master
source_schema=info
source_tablename=sourcetable2
source_jdbc=1sqlserver
target_tablename=table2
target_db=stage_commDB
insert_type=overwrite
partition=1
separator=\t    --HDFS文本分隔符
hiveFile_type=text
column=REPLACE(id,CHAR(9),'')++as++id,created_time,updated_time,intime --sql语句可自定义(语句对应的是源数据库，sql server等)
where:1=1


[table3]
source_db=master
source_schema=info
source_tablename=sourcetable3
source_jdbc=2sqlserver
target_tablename=table3
target_db=stage_DB
insert_type=append    --数据更新类型为增量更新
partition=etl_month   --分区字段为etl_month  
separator=|
hiveFile_type=parquet  --hdfs文件类型为parquet
column=id,pid,mid,created_time,updated_time,intime   --sql查询的字段筛选
query:select++column++from++MsTableName              --引用上面column的变量替换query中的字符串“column”并使用配置信息拼凑字符串“MsTableName”的代替内容，例如stage_DB.table3
where:CONVERT(varchar(6),datatime,112)=DATATIME      --sqoop抽取时自定义的筛选条件，在shell脚本中替换字符串“DATATIME”为特定的某个时间

第三模块 公共抽象方法模块

public_fun.sh

#!/bin/bash

#################################
# shell 脚本公共服务方法类
# 1.获取jdbc用户名密码
# 2.获取抽取表的配置信息
#################################

jdbc_conf=/home/etl/public/jdbc_conf.cfg 

function getJDBC_conf(){
    
    Section=$1     --传入数据库信息代理名，根据代理名查找相关配置文件内容
    echo `date +"%Y%m%d %H:%M:%S"`"--需要获取 【$Section】 配置文件....."
    echo `date +"%Y%m%d %H:%M:%S"`"--读取配置文件 【$jdbc_conf】"
    #options="ip|username|password"
    #echo `date +"%Y%m%d %H:%M:%S"`$Options|tr '\|' '|'
    ip=`cat $jdbc_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/ip/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
    port=`cat $jdbc_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/port/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
    username=`cat $jdbc_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/username/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
    password=`cat $jdbc_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/password/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
    
    echo `date +"%Y%m%d %H:%M:%S"`"【ip】=$ip,【port】=$port,【username】=$username,【password】=$password"
}

#getJDBC_conf 1sqlserver

function getTable_conf(){
    
  Section=$1    --传入表名称
  table_conf=$2  --传入表名称所在的表信息配置文件cfg的绝对路径
  echo `date +"%Y%m%d %H:%M:%S"`"--需要获取 【$Section】 配置文件....."
  echo `date +"%Y%m%d %H:%M:%S"`"--读取配置文件 【$table_conf】"
  source_db=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_db/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  source_schema=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_schema/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  source_tablename=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_tablename/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2);exit}'`
  source_jdbc=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_jdbc/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  target_tablename=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/target_tablename/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2);exit}'`
  target_db=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/target_db/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  insert_type=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/insert_type/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  partition=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/partition/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  separator=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/separator/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  hiveFile_type=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/hiveFile_type/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  column=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/column/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  where=`cat $table_conf | awk -F ':' '/\['"$Section"'\]/{a=1}a==1&&$1~/where/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`    

  echo `date +"%Y%m%d %H:%M:%S"`"【$Section】"
  echo `date +"%Y%m%d %H:%M:%S"`" 配置详情：$source_db,$source_schema,$source_tablename,$source_jdbc,$target_tablename,$target_db,$insert_type,$partition,$separator,$hiveFile_type"
  echo `date +"%Y%m%d %H:%M:%S"`" 抽取列column=$column" 
  echo `date +"%Y%m%d %H:%M:%S"`" 筛选条件where=$where"
}

function getTable_conf2(){

  Section=$1
  table_conf=$2
  echo `date +"%Y%m%d %H:%M:%S"`"--需要获取 【$Section】 配置文件....."
  echo `date +"%Y%m%d %H:%M:%S"`"--读取配置文件 【$table_conf】"
  source_db=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_db/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  source_schema=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_schema/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  source_tablename=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_tablename/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2);exit}'`
  source_jdbc=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/source_jdbc/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  target_tablename=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/target_tablename/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2);exit}'`
  target_db=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/target_db/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  insert_type=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/insert_type/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  partition=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/partition/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  separator=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/separator/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  hiveFile_type=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/hiveFile_type/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  column=`cat $table_conf | awk -F '=' '/\['"$Section"'\]/{a=1}a==1&&$1~/column/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  where=`cat $table_conf | awk -F ':' '/\['"$Section"'\]/{a=1}a==1&&$1~/where/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  query=`cat $table_conf | awk -F ':' '/\['"$Section"'\]/{a=1}a==1&&$1~/query/{gsub(/[[:blank:]]*/,"",$2);printf("%s",$2) ;exit}'`
  echo `date +"%Y%m%d %H:%M:%S"`"【$Section】"
  echo `date +"%Y%m%d %H:%M:%S"`" 配置详情：$source_db,$source_schema,$source_tablename,$source_jdbc,$target_tablename,$target_db,$insert_type,$partition,$separator,$hiveFile_type"
  echo `date +"%Y%m%d %H:%M:%S"`" 抽取列column=$column"
  query="${query//column/$column}"     --拼接query的sql语句，把column具体内容替换掉
  echo `date +"%Y%m%d %H:%M:%S"`" 执行语句query=$query"
  echo `date +"%Y%m%d %H:%M:%S"`" 筛选条件where=$where"
}

第四模块 sqoop抽取的子shell封装模块

包含： 配置表无分区的全删全插类型，数据表按时间分区增量抽取，数据表parquet格式分区抽取等

类型1，全删全插的类型

sqoop_exp_comm2.0.sh

#!/bin/bash

tablename=$1
cfgfile=$2

#引入公共脚本
source /home/etl/public/public_fun.sh

#获取表配置信息
getTable_conf $tablename $cfgfile

#获取表jdbc信息
getJDBC_conf $source_jdbc

etl_date=`date "-d -1 day" "+%Y%m%d"`


column2="${column//++/ }"
MsTableName="$source_schema.$source_tablename with (nolock)"
echo "$MsTableName"
echo "$column2"
if [ "$column2" == "*" ];then 
   echo "-------------------"
   query="select * from $MsTableName where $where and \$CONDITIONS"
elif [ "$column2" == "DIY" ];then
   getTable_conf2 $tablename $cfgfile
   query="${query//++/ }"
else
   query="select $column2 from $MsTableName where $where and \$CONDITIONS and 1=1"
fi

echo "$query"

echo `date +"%Y%m%d %H:%M:%S"`"全删全插"
sqoop import -D mapred.job.queue.name=root.realtime_queue \
-m 1 \
--connect "jdbc:sqlserver://$ip:$port;database=$source_db;username=$username;password=$password" \
--query "${query}"  \
--target-dir "/user/hive/warehouse/$target_db.db/$target_tablename" \
--delete-target-dir \
--fields-terminated-by "${separator}"  \
--null-string '\\N' --null-non-string '\\N'
类型2，有分区增量更新
#!/bin/bash

tablename=$1
cfgfile=$2
DATATIME=$3
YEAR=$4
MONTH=$5
DAY=$6

#引入公共脚本
source /home/etl/public/public_fun.sh

#获取表配置信息
getTable_conf $tablename $cfgfile

#获取表jdbc信息
getJDBC_conf $source_jdbc

etl_date=`date "-d -1 day" "+%Y%m%d"`

column2="${column//++/ }"
MsTableName=$source_schema.$source_tablename
echo "$MsTableName"
echo "$column2"
if [ "$column2" == "*" ];then 
   echo "-------------------"
   query="select * from $MsTableName where CONVERT(varchar(12) , data_time, 112) = '$DATATIME'  and  \$CONDITIONS and 1=1"
else
   query="select $column2 from $MsTableName where CONVERT(varchar(12) , data_time, 112) = '$DATATIME' and \$CONDITIONS and 1=1"
fi

echo `date +"%Y%m%d %H:%M:%S"`"--加载分区------"
echo `date +"%Y%m%d %H:%M:%S"`"--use '$target_db';alter table '$tablename' add IF NOT EXISTS partition (year='$YEAR',month='$MONTH',day='$DAY');truncate table '$tablename'  partition(year='$YEAR',month='$MONTH',day='$DAY')"

hive -S -e 'use '$target_db';alter table '$tablename' add IF NOT EXISTS partition (year='$YEAR',month='$MONTH',day='$DAY'); truncate table '$tablename'  partition(year='$YEAR',month='$MONTH',day='$DAY' )' 
echo "$query"

sqoop import -D mapred.job.queue.name=root.default \
-m 1 \
--append --connect "jdbc:sqlserver://$ip:$port;database=$source_db;username=$username;password=$password" \
--query "${query}"  \
--target-dir "/user/hive/warehouse/$target_db.db/$target_tablename/year=$YEAR/month=$MONTH/day=$DAY" \
--fields-terminated-by "${separator}"  \
--null-string '\\N' --null-non-string '\\N'
类型3，parquet格式按分区增量抽取
#!/bin/bash

tablename=$1
cfgfile=$2
etl_date=$3

echo "etl_date=$etl_date"

#引入公共脚本
source /home/etl/public/public_fun.sh

#获取表配置信息
getTable_conf $tablename $cfgfile

#获取表jdbc信息
getJDBC_conf $source_jdbc

#etl_date=`date "-d -1 day" "+%Y%m%d"`
echo `date +"%Y%m%d %H:%M:%S"`"数据更新日期 $etl_date"

where="${where//etl_date/$etl_date}"

column2="${column//++/ }"
MsTableName="$source_schema.$source_tablename with (nolock)"
echo "$MsTableName"
echo "$column2"
if [ "$column2" == "*" ];then 
   echo "-------------------"
   query="select * from $MsTableName where $where and \$CONDITIONS"
elif [ "$column2" == "DIY" ];then
   getTable_conf2 $tablename $cfgfile
   query="${query//++/ }"
else
   query="select $column2 from $MsTableName where $where and \$CONDITIONS and 1=1"
fi

echo "$query"

echo `date +"%Y%m%d %H:%M:%S"`"--清空表数据"
echo `date +"%Y%m%d %H:%M:%S"`"--use '$target_db';truncate table '$target_tablename'"

hive -S -e 'use '$target_db';truncate table '$target_tablename'' 

echo `date +"%Y%m%d %H:%M:%S"`"全删全插"
sqoop import -D mapred.job.queue.name=root.default \
-m 1 \
--connect "jdbc:sqlserver://$ip:$port;database=$source_db;username=$username;password=$password" \
--query "${query}"  \
--as-parquetfile \
--target-dir "/user/hive/warehouse/$target_db.db/$target_tablename" \
--delete-target-dir \
--fields-terminated-by "${separator}"  \
--null-string '\\N' --null-non-string '\\N'

第五模块 主程序shell脚本

样例

#!/bin/bash

tablename=table1,table2,table3

publicpath=/home/etl/public
cfgfile=/home/etl/public/zxjk_comm_tableList.cfg

table_array=(${tablename//,/ })

echo -e `date '+%Y-%m-%d %H:%M:%S'` "数据抽取开始"
#循环表清单
 for table in ${table_array[@]}
 do 
     HiveTableName=$table
     echo "sh  $publicpath/sqoop_exp_comm2.0.sh $HiveTableName $cfgfile "
     sh  $publicpath/sqoop_exp_comm2.0.sh $HiveTableName $cfgfile 
     #监控HDFS目录下文件数量
     i=1
     while [ $i -le 10 ]
     do
        echo "判断HDFS文件个数......."
        filenum=`hadoop fs -ls /user/hive/warehouse/stage_comm.db/$HiveTableName |wc -l`
        echo  "文件目录：/user/hive/warehouse/stage_comm.db/$HiveTableName 下,文件个数为:${filenum}"
        if [ $filenum -eq 0 ]; then
            echo "HDFS文件个数异常,重新执行"
            echo "HDFS文件个数异常,开始循环抽取数据，第$i次执行开始,sh $publicpath/sqoop_exp_comm2.0.sh $HiveTableName $cfgfile 卸载数据"
            sh $publicpath/sqoop_exp_comm2.0.sh $HiveTableName $cfgfile
        else
            break
        fi
        let i+=1
     done
  echo -e `date '+%Y-%m-%d %H:%M:%S'` "数据抽取结束======================"    

 done
echo -e `date '+%Y-%m-%d %H:%M:%S'` "--结束"
经过以上的配置后，需要离线抽取表数据，就可以通过配置相应的配置文件，以及数据库连接信息来抽取数据。大大减少了重复型劳动，并且通过不断扩充sqoop抽取的子shell封装模块，就可以不断兼容各类数据抽取模式。换个思路来看，就是使用文件将数据表的相关元数据管理起来，通过封装固定类型的shell脚本实现多模式的数据抽取。那么长远的角度来看，将数据库的连接配置文件和表信息的配置文件可以转化为mysql的数据表，通过关系型数据库来管理元数据，用shell脚本查询mysql获取元数据也可以实现上述功能。
resin_404
关注
专栏目录
基于Hadoop+Hive+Vue+sqoop数据分析的具有智能推荐功能的网上书籍商城的设计与实现+部署文档+全部资料 高分项目
05-13
基于Hadoop+Hive+Vue+sqoop数据分析的具有智能推荐功能的网上书籍商城的设计与实现+部署文档+全部资料 高分项目基于Hadoop+Hive+Vue+sqoop数据分析的具有智能推荐功能的网上书籍商城的设计与实现+部署文档+全部资料 ...
数据分析工作中shell脚本的使用
gg0124的博客
08-02 1632
这篇文章主要通过工作中shell脚本案例,介绍shell脚本中常用知识点 下面的这个脚本表示使用sqoop把生产数据库mysql中的商户交易数据导入到hive数据库，且生产数据库中商户交易数据是分库分表存放的(10个库100个表中)，分表分库原则根据商户F_merchant_id来分的，比如说一个商户号F_merchant_id=‘xxxxx855’，可以看到商户号是倒数第三位是8，分库的时候会存...
Sqoop接入shell脚本
shyming's blog
06-21 698
基于sqoop接入mysql到hive的shell脚本
Sqoop查询与抽取Teradata数据库中的数据
qq_43308318的博客
03-05 2818
@[TOC]( Teradata数据库) ## 1.使用sqoop查看数据库中有哪些表 ```sql 查看oracle数据库中有哪些表 sqoop list-tables --connect jdbc:oracle:thin:@20.10.1.21:1521/ccb \ --username wws\ --password w0210 \ 查看teradata数据库中有哪些表 sqoop list-tables --connect jdbc:teradata://20.10.11.48/CLIENT_
hadoop之sqoop抽取数据
Technology_2016的博客
04-19 1684
1、sqoop的安装与配置 安装（前提hadoop启动） [hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz [hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/ [hadoop@h9
大数据之sqoop：sqoop-import 并行抽数原理及数据倾斜解决方案
weixin_43597208的博客
06-28 2096
目录前言:1.sqoop参数2.并行化3.数据倾斜是怎么产生的？4.解决方案：总结 前言: 我们一般用sqoop抽数。可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 1.sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --fie
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 ...
分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化
03-18
综上所述，这个分布式数据库课程设计项目通过整合 Hbase、Hive、MySQL、Sqoop 等工具，实现了从数据采集、存储、分析到可视化的全流程，展现了大数据处理的一般流程和关键技术。通过实际操作，学习者可以深入理解和...
zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10
06-28
Sqoop实现了传统数据库与Hadoop之间的数据交换；而Kafka则扮演着实时数据流处理的角色，连接数据的生产和消费。 在搭建Hadoop集群时，这些组件需要正确配置和部署。例如，Zookeeper需要设置多个节点以实现高可用，...
大数据环境包含hadoop+hive+sqoop数据迁移+azkaban任务调度
09-10
通过Sqoop，用户可以在大数据环境与传统数据库间进行数据迁移，实现数据湖与企业数据仓库的集成。 4. Azkaban：Azkaban是一款工作流作业调度器，专为Hadoop生态系统设计。它提供了图形化的Web界面，用于创建、管理...
常见的数据抽取工具对比
最新发布
weixin_44852067的博客
04-22 2104
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。抽取（Extract主要是针对各个业务系统及不同服务器的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取和缓慢渐变的规则。转换（transform。
sqoop数据
abcdefghwelcome的博客
12-11 176
    概述： sqoop  是apache旗下一款“Hadoop”和关系数据库服务器之间传送数据“的工具。 导入数据：MySQL，Orale导入数据到Hadoop的HDFS，HIVE，HSASE等数据存储系统; 导出数据：从Hadoop的的文件系统中导出数据到关系数据库。   工作机制： 将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要...
数据采集工具Sqoop
浅谈
06-24 1278
Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。Sqoop官网提供了Sqoop1和Sqoop2，Sqoop1只是一个普通的应用程序，通过给定参数就可以运行该程序。Sqoop2拥有服务端的应用程序，简单的功能变得复杂化，但是更加统一化、规范化。
sqoop增量抽取mysql数据_hive增量抽取方案
weixin_32661017的博客
02-11 823
一、使用sqoop从mysql中抽取数据到hive，查看sqoop官方文档，有如下两种方案：7.2.9. Incremental ImportsSqoop provides an incremental import mode which can be used to retrieve only rows newer than some previously-imported set of row...
数仓4.0笔记——业务数据采集——Sqoop
zhangzhagn_的博客
07-21 466
数仓4.0笔记——业务数据采集——Sqoop 尚硅谷视频笔记
shell编程：完成一个简单的不重复抽取且自动重新开始自动抽奖脚本
wowchx的博客
12-13 3056
实现一个类似于上课点名的抽奖脚本，抽过的人在本轮中不会重复出现，直到抽完为止，且抽完所有人后自动开始重新抽取。
【数据采集与预处理】数据传输工具Sqoop
Morse_Chen的博客
01-18 2352
Sqoop是一款开源的工具，Sqoop主要用于在Hadoop与传统的数据库间进行数据的传递。本文介绍Sqoop简介、Sqoop安装配置以及数据传输的操作过程。
Sqoop抽数性能优化
qq_39425846的博客
05-30 631
1515万数据通过sqoop从sqlserver抽取到hive时间16min调整参数前配置主要调整参数执行并行导入时，Sqoop 需要一个条件，通过该标准可以拆分工作负载。Sqoop 使用拆分列拆分工作负荷。默认情况下，Sqoop 将标识表中的primary key （如果存在），并用作拆分列。从数据库中检索拆分列的低值和高值，并且映射任务对总范围的均匀大小的组件进行操作。
大数据Sqoop将mysql直接抽取至Hbase
赵广陆
12-15 3419
目录1 HBase 表设计2 Sqoop直接导入3 另一种常用思路批量导入 1 HBase 表设计 用户基本信息： tbl_users -- 1、如果用户表存在先删除 hbase(main):013:0> disable 'tbl_users' hbase(main):014:0> drop 'tbl_users' -- 或者清空表 hbase(main):015:0> truncate 'tbl_users' -- 2、创建用户表 hbase(main):016:0> creat
Hadoop2.5.2 + Sqoop-1.4.6：伪分布环境中MySQL数据迁移至NDFS教程
本文档主要介绍了如何在Mac 64位环境下使用Hadoop 2.5.2版本的伪分布式模式，配合Sqoop 1.4.6工具将MySQL数据库的数据上传至NFS（网络文件系统）。首先，确保你已经在本地搭建了Hadoop基础环境，并安装了Zookeeper。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值