解决SecureCRT 进入hive模式后无法删除数据的问题，打开会话设置，终端模拟，选择Linux即可
Databases in Hive
如果在hive中未定义数据库的话，这个“default”作为默认的数据库。
创建数据库
语法
create database userdb;如果userdb存在的话,就会抛出错误，可以这样：
create database IF NOT EXISTS userdb;在“database”相关命令行可以使用“schema”代替“database”。
如果存在较多的数据库，可以使用相关的表达式，like或alike+数据库名开头的字母和以”.*”结尾，如：
hive> show databases like ‘u.*’; (f代表userdb数据库)hive为每个数据库创建一个路径，每个表对应一个文件夹,表被存储在相应的子路径中。默认的“default”的数据库没有自己的路径；数据库的路径这个属性中设置：hive.metastore.warehouse.dir，其中默认的属性值是/user/hive/warehouse。
当数据库userdb被创建，hive会为其创建路径为/user/hive/warehouse/userdb.db，.db是数据库名的扩展。
你也可以修改默认的路径：
create database userdb
location ‘/my/preferred/directory’;可以为数据库增加解释性内容：
create database userdb
comment ‘holds all about user tables’;以下命令，显示数据库的路径。
describe database userdb;将key-values属性和数据库结合起来，如：
create database userdb
with dbproperties (‘creator=’leon’,’data’=’2016-08-19’);“use”命令是让某一数据库处于“当前使用的数据库”状态：
use userdb;可惜没用命令可以表现出当前正在使用的数据库，因此我们使用’use’命令设置数据库为当前使用的数据库。因为在hive中没有数据库的概念。
删除数据库
drop database if exists userdb;默认情况下，hive是不允许删除含有表的数据库，首先删除表，之后在命令行使用‘CASCADE’关键词，同样可以使用‘RESTRICT’：
drop database if exists userdb cascade;当数据库被删除，其路径也被删除了。
在‘DBPROPERTIES’中可以设置键值对属性。
alter database userdb set dbproperties(‘edited-by’=’leon’);基本操作
- 建表
create table t_order (order_sn string, user_id string,amount int,create_time timestamp)
row format delimited fields terminated by '\t';创建一个表作为外部表（指定location 参数会创建相应的目录,如果未指定该参数，则会在默认位置（/user/hive/warehouse/userdb.db/t_order_in_ex）创建一个目录）
带location参数外部表：
create external table t_order_ex (order_sn string, user_id string,amount int,create_time timestamp)
row format delimited fields terminated by '\t'
location '/external/hive/t_order_ex';不带location参数外部表：
create external table t_order_in_ex (order_sn string, user_id string,amount int,create_time timestamp)
row format delimited fields terminated by '\t';分别向order,t_order_ex,t_order_in_ex 表中load本地数据hivetb.txt
load data local inpath '/root/hivetb.txt' into table t_order;
load data local inpath '/root/hivetb.txt' into table t_order_ex;
load data local inpath '/root/hivetb.txt' into table t_order_in_ex;查询加载的数据
select * from t_order;
select * from t_order_ex;
select * from t_order_in_ex;三个表中的数据是完全一样的。
select count(*) from t_order_wk;打开hdfs的web界面，查看hdfs中hive数据库文件夹和表文件夹中的数据，在三个表对应的hdfs目录下都会有一个hivetb.txt文件
手动向hdfs中t_order_ex文件夹中上传某个文件，文件中部分数据格式与表设置的格式不一致
如：(第三行只有三列缺第四列，第四行只有三列缺第三列，第五行的第三列不是要求的int类型)
3016080910 30086 10 2016-08-19 11:50:50
3016080911 30086 11 2016-08-19 11:51:22
3016080912 30000 9
3016080913 30000 2016-08-19 11:52:12
3016080914 30010 5rmb 2016-08-19 11:53:59
上传到外部表前验证数据：
2016080910 10086 10 2016-08-19 11:50:50
2016080911 10086 11 2016-08-19 11:51:22
2016080912 10000 9 2016-08-19 11:51:42
2016080913 10000 20 2016-08-19 11:52:12
2016080914 10010 100 2016-08-19 11:53:59
hdfs dfs -put /root/hiveatb.txt /external/hive/t_order_ex查询验证(可以查询出相关信息，少的最后补NULL，多的忽略，格式不符的以NULL代替)
select * from t_order_ex;2016080910 10086 10 2016-08-19 11:50:50
2016080911 10086 11 2016-08-19 11:51:22
2016080912 10000 9 2016-08-19 11:51:42
2016080913 10000 20 2016-08-19 11:52:12
2016080914 10010 100 2016-08-19 11:53:59
3016080910 30086 10 2016-08-19 11:50:50
3016080911 30086 11 2016-08-19 11:51:22
3016080912 30000 9 NULL
3016080913 30000 NULL NULL
3016080914 30010 NULL 2016-08-19 11:53:59
将数据上传到内部表t_order，并查看上传后的数据。
hdfs dfs -put /root/hiveatb.txt /user/hive/warehouse/userdb.db/t_order同样可以直接查询到新增加的数据。
由以上可知，将数据文件移动/复制到对应的hdfs文件夹下后，就可以使用hive查询到数据了。
如果数据文件原本就在hdfs上，当我们加载hdfs上的数据到创建的（内部）表的时候，直接将文件移动到该hdfs文件夹下
load data inpath '/hiveatb.txt' into table t_order_in_ex;加载后，文件被移动到了对应表的hdfs文件夹下,同样可以直接查询到新增加的数据。
external类型的表,表对应的是文件夹，对于文件的位置不做任何限制，放到任何hdfs上到底位置都可以。
- 删除表操作
drop table t_order;
drop table t_order_ex;
drop table t_order_in_ex;drop内部表时，会删除hdfs上的文件夹和元数据
drop external表时，不会对外部文件数据做任何操作(t_order_ex和t_order_in_ex文件夹均还在)
重新执行创建表的操作，恢复hive数据库到未删除前，继续进行下面的练习，外部表的数据因为没有删除所有数据直接可查，内部表数据需要重新加载。
- 创建表的另外一种方式
show tables;OK
t_order
t_order_ex
t_order_in_ex
- 创建表时通过SQL语句得到表结构和数据,用于创建一些临时表存储中间结果,这样的表在hdfs中有相应的目录结构和文件
create table t_order_order_sn
as
select order_sn,user_id from t_order;显示所有表
show tables;OK
t_order
t_order_ex
t_order_in_ex
t_order_order_sn
创建成功。查看所创建t_order_order_sn表的表结构。
desc t_order_order_sn;OK
order_sn string
user_id string
- 复制表结构（只能复制表结构，无法复制表的内容）
create table t_order_like like t_order;查看表
show tables;OK
t_order
t_order_ex
t_order_in_ex
t_order_like
t_order_order_sn
- insert into 是追加数据,overwrite是覆盖写所有表
insert overwrite table t_order_like
select * from t_order;- 分区表
PARTITION(分区)添加一个新字段作为分区字段，在hdfs中表现为在t_order_part文件夹下创建以分区命名的文件夹，只能在创建表的时候就指定好（partitioned关键字必须在row format 之前）
create table t_order_part (order_sn string, user_id string,amount int,create_time timestamp)
partitioned by (month string)
row format delimited fields terminated by '\t';如果是多个字段”分区组“，则将partitioned by (month string)替换为partitioned by (pname1 ptype1,pname2 ptype2 ...)
查看分区表结构
desc t_order_part;OK
order_sn string
user_id string
amount int
create_time timestamp
month string
# Partition Information
# col_name data_type comment
month string
加载数据到分区表
• 加载的目标可以是一个表或者分区。如果表包含分区，必须指定每一个分区的分区名
• filepath 可以引用一个文件（这种情况下，Hive 会将文件移动到表所对应的目录中）或者是一个目录（在这种情况下，Hive 会将目录中的所有文件移动至表所对应的目录中）
• LOCAL关键字，即本地
• load 命令会去查找本地文件系统中的 filepath。如果发现是相对路径，则路径会被解释为相对于当前用户的当前路径。用户也可以为本地文件指定一个完整的 URI，比如：file:///user/hive/project/data1.
• load 命令会将 filepath 中的文件复制到目标文件系统中。目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据对应的位置
例如：加载本地数据，同时给定分区信息：
load data local inpath '/root/hivetb.txt' into table t_order_part partition (month='20160820');overwrite会覆盖写对应分区下的数据，不写该参数就是追加
load data local inpath '/root/hivetb.txt' overwrite into table t_order_part partition (month='20160821');查看数据
select * from t_order_part;2016080910 10086 10 2016-08-19 11:50:50 20160820
2016080911 10086 11 2016-08-19 11:51:22 20160820
2016080912 10000 9 2016-08-19 11:51:42 20160820
2016080913 10000 20 2016-08-19 11:52:12 20160820
2016080914 10010 100 2016-08-19 11:53:59 20160820
2016080910 10086 10 2016-08-19 11:50:50 20160821
2016080911 10086 11 2016-08-19 11:51:22 20160821
2016080912 10000 9 2016-08-19 11:51:42 20160821
2016080913 10000 20 2016-08-19 11:52:12 20160821
2016080914 10010 100 2016-08-19 11:53:59 20160821
根据分区字段查询，只会显示对应分区的结果
select * from t_order_part where month='20160820';
select count(*) from t_order_part where month='20160820';增加分区必须在创建表的时候就指定了分区列才可以，后期不能增加分区列，只能增加分区字段的值。
ALTER TABLE t_order_part ADD PARTITION (month = '20160822') location '/external/20160822';如果/external/20160822 目录不存在，hdfs会创建该目录。
show partitions t_order_part;OK
month=20160820
month=20160821
month=20160822
此时该分区没有值
向/external/20160822目录中上传数据
hdfs dfs -put /root/hiveatb.txt /external/20160822查看数据
select * from t_order_part;OK
2016080910 10086 10 2016-08-19 11:50:50 20160820
2016080911 10086 11 2016-08-19 11:51:22 20160820
2016080912 10000 9 2016-08-19 11:51:42 20160820
2016080913 10000 20 2016-08-19 11:52:12 20160820
2016080914 10010 100 2016-08-19 11:53:59 20160820
2016080910 10086 10 2016-08-19 11:50:50 20160821
2016080911 10086 11 2016-08-19 11:51:22 20160821
2016080912 10000 9 2016-08-19 11:51:42 20160821
2016080913 10000 20 2016-08-19 11:52:12 20160821
2016080914 10010 100 2016-08-19 11:53:59 20160821
3016080910 30086 10 2016-08-19 11:50:50 20160822
3016080911 30086 11 2016-08-19 11:51:22 20160822
3016080912 30000 9 NULL 20160822
3016080913 30000 NULL NULL 20160822
3016080914 30010 NULL 2016-08-19 11:53:59 20160822
创建hdfs目录
hdfs dfs -mkdir /external/datapart将本地数据通过hdfs上传到该目录中
hdfs dfs -put /root/hiveatb.txt /external/datapart/通过ADD添加新分区，并将指定/external/datapart为数据目录
alter table t_order_part add partition (month='20160824') location '/external/datapart';hive命令的3种调用方式
方式1：交互模式下，hive –f /root/shell/hive-script.sql（适合多语句）
Hive可以运行保存在文件里面的一条或多条的语句，只要用-f参数，一般情况下，保存这些Hive查询语句的文件通常用.q或者.hql后缀名，但是这不是必须的，你也可以保存你想要的后缀名。hive-script.sql类似于script一样，直接写查询命令就行。
例如，编辑并填入如下内容：
vi hive_script3.sqlselect * from t1;
select count(*) from t1;
不进入交互模式，执行一个hive script
这里可以和静音模式-S（不会显示mapreduct的操作过程）联合使用,通过第三方程序调用，第三方程序通过hive的标准输出获取结果集。
[root@hadoopcswfb iwisdom]# /iwisdom/hive-1.4.4/bin/hive -S -f /hive-script.sql- 那么问题来了：如何传递参数呢？
demo如下：
start_hql.sh 内容：
#!/bin/bash
# -S 打印输出mapreduce日志
hive \
-hivevar col1=2016080910 \
-hivevar col2=10086 \
-S -f test.sqltest.sql 内容：
我使用userdb数据库中的t_order表作演示查询
use userdb;
select * from t_order where id='${hivevar:col1}' and col2='${hivevar:col2}';为start_hql.sh添加执行权限
chmod +x start_hql.sh
./start_hql.sh方式2：非交互模式下，hive -e ‘sql语句’（适合短语句）
直接执行sql语句
如果设置环境变量$PATH=$HIVE_HOME\bin 即可直接使用hive命令
例如：
[root@hadoopcswfb iwisdom]# hive -e 'use userdb';
[root@hadoopcswfb iwisdom]# hive -e 'select * from t_order';静音模式：(用法与第一种方式的静音模式一样，不会显示mapreduce的操作过程)
[root@hadoopcswfb iwisdom]# hive -S -e 'select * from t_order';此处还有一亮点，用于导出数据到linux本地目录下
例如：
[root@hadoopcswfb iwisdom]# hive -e 'select * from t_order' > test.txt方式3：hive （直接使用hive交互式模式）
Sqoop拾遗&利用sqoop实现MySQL与Hive互导数据
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析。对大规模的数据在Hadoop平台上进行分析以后，可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。
这里，我们介绍Sqoop完成上述基本应用场景所使用的import和export工具，通过一些简单的例子来说明这两个工具是如何做到的。
工具通用选项
import和export工具有些通用的选项，如下表所示：
| 选项 | 含义说明 |
|---|---|
| –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定要使用的连接管理器类 |
| –driver | 指定要使用的JDBC驱动类 |
| –hadoop-mapred-home | 指定$HADOOP_MAPRED_HOME路径 |
| –help | 打印用法帮助信息 |
| –password-file | 设置用于存放认证的密码信息文件的路径 |
| -P | 从控制台读取输入的密码 |
| –password | 设置认证密码 |
| –username | 设置认证用户名 |
| –verbose | 打印详细的运行信息 |
| –connection-param-file | 可选，指定存储数据库连接参数的属性文件 |
数据导入工具import
import工具，是将HDFS平台外部的结构化存储系统中的数据导入到Hadoop平台，便于后续分析。我们先看一下import工具的基本选项及其含义，如下表所示：
| 选项 | 含义说明 |
|---|---|
| –append | 将数据追加到HDFS上一个已存在的数据集上 |
| –as-avrodatafile | 将数据导入到Avro数据文件 |
| –as-sequencefile | 将数据导入到SequenceFile |
| –as-textfile | 将数据导入到普通文本文件（默认） |
| –boundary-query | 边界查询，用于创建分片（InputSplit） |
| –columns | 从表中导出指定的一组列的数据 |
| –delete-target-dir | 如果指定目录存在，则先删除掉 |
| –direct | 使用直接导入模式（优化导入速度） |
| –direct-split-size | 分割输入stream的字节大小（在直接导入模式下） |
| –fetch-size | 从数据库中批量读取记录数 |
| –inline-lob-limit | 设置内联的LOB对象的大小 |
| -m,–num-mappers | 使用n个map任务并行导入数据 |
| -e,–query | 导入的查询语句 |
| –split-by | 指定按照哪个列去分割数据 |
| –table | 导入的源表表名 |
| –target-dir | 导入HDFS的目标路径 |
| –warehouse-dir | HDFS存放表的根路径 |
| –where | 指定导出时所使用的查询条件 |
| -z,–compress | 启用压缩 |
| –compression-codec | 指定Hadoop的codec方式（默认gzip） |
| –null-string | 果指定列为字符串类型，使用指定字符串替换值为null的该类列的值 |
| –null-non-string | 如果指定列为非字符串类型，使用指定字符串替换值为null的该类列的值 |
下面，我们通过实例来说明，在实际中如何使用这些选项。
和Hive相关的参数
| 参数 | 说明 |
|---|---|
| –hive-home | Hive的安装目录，可以通过该参数覆盖掉默认的hive目录 |
| –hive-overwrite | 覆盖掉在hive表中已经存在的数据 |
| –create-hive-table | 默认是false，如果目标表已经存在了，那么创建任务会失败 |
| –hive-table | 后面接要创建的hive表 |
| –table | 指定关系数据库表名 |
* 将MySQL数据库中整个表数据导入到Hive表
sqoop import --connect jdbc:mysql://192.168.0.100/userdb --username root --password 123 --table t_order --hive-import -- --default-character-set=utf-8;将MySQL数据库userdb中t_order表的数据导入到Hive表中。
- 将MySQL数据库中多表JION后的数据导入到HDFS
sqoop import \
--connect jdbc:mysql://192.168.0.100:3306/userdb \
--username root \
--password 123 \
--query 'select f_order.*,userinfo.username from f_order join userinfo on (f_order.user_id=userinfo.user_id) where $CONDITIONS' \
--hive-import \
--hive-database userdb \
--create-hive-table \
--hive-table f_order_userinfo \
--target-dir /myinfo/f_order_userinfo \
--split-by f_order.user_id这里，使用了--query选项，不能同时与--table选项使用。而且，变量$CONDITIONS必须在WHERE语句之后，供Sqoop进程运行命令过程中使用。上面的--target-dir指向的其实就是Hive表存储的数据目录，此字段必须指定。
- 创建Sqoop Job，将MySQL数据库中某个表的数据增量同步到Hive表
增量实现的原始思路
要想实现增量导入，完全可以不使用Sqoop的原生增量特性，仅使用shell脚本生成一个以当前时间为基准的固定时间范围，然后拼接Sqoop命令语句即可。
原生增量导入特性简介
Sqoop提供了原生增量导入的特性，包含以下三个关键参数：
| Argument | Description |
|---|---|
| –check-column (col) | 指定一个“标志列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型（这个很好理解吧）。 |
| –incremental (mode) | 指定增量模式，包含“追加模式” append(关于append的介绍请参见另一篇文章) 和“最后修改模式” lastmodified （该模式更满足常见需求）。 |
| –last-value (value) | 指定“标志列”上次导入的上界。如果“标志列”是最后修改时间，则–last-value为上次执行导入脚本的时间。 |
结合Saved Jobs机制，可以实现重复调度增量更新Job时 –last-value 字段的自动更新赋值，再结合cron或者oozie的定时调度，可实现真正意义的增量更新。
sqoop job \
--create myjob \
-- import \
--connect jdbc:mysql://192.168.0.100:3306/userdb \
--table t_order \
--username root \
--password 123 \
--hive-import \
--hive-database userdb \
--hive-table f_order_userinfo \
--incremental lastmodified \
--check-column create_time \
--last-value '2016-08-18 11:58:36' --append注意1：第三行的-- import之间必须有一个空格。
注意2：最后一行last-value的值除了指定一个时间外，还需要添加–append或–merge-key否则在第二次执行的时候会提示表目录已经存在。
首先查看一下该Job 的incremental.last.value，注意和下面第二次做对比。
[root@hadoopcswfb iwisdom]# sqoop job --show myjob;注意观察以下结果：
Warning: /usr/lib/hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Enter password:
Job: myjob
Tool: import
Options:
----------------------------
verbose = false
**incremental.last.value = 2016-08-18 11:58:36**
db.connect.string = jdbc:mysql://192.168.0.100:3306/userdb
codegen.output.delimiters.escape = 0
codegen.output.delimiters.enclose.required = false
codegen.input.delimiters.field = 0
hbase.create.table = false
db.require.password = true
hdfs.append.dir = false
db.table = t_order
import.fetch.size = null
codegen.input.delimiters.escape = 0
codegen.input.delimiters.enclose.required = false
db.username = root
codegen.output.delimiters.record = 10
import.max.inline.lob.size = 16777216
hcatalog.create.table = false
db.clear.staging.table = false
incremental.col = create_time
codegen.input.delimiters.record = 0
enable.compression = false
hive.overwrite.table = false
hive.import = true
codegen.input.delimiters.enclose = 0
hive.table.name = t_order
hive.database.name = userdb
hive.drop.delims = false
codegen.output.delimiters.enclose = 0
hdfs.delete-target.dir = false
codegen.output.dir = .
codegen.auto.compile.dir = true
mapreduce.num.mappers = 4
import.direct.split.size = 0
codegen.output.delimiters.field = 1
export.new.update = UpdateOnly
incremental.mode = DateLastModified
hdfs.file.format = TextFile
codegen.compile.dir = /tmp/sqoop-root/compile/cac84cfd83e2a71d659a57e00fe08a06
direct.import = false
hive.fail.table.exists = false
db.batch = false执行前查看一下mySQL数据库userdb的t_order表的数据，这里只截取最新的一条.
2016080929 10010 100 2016-08-18 11:58:36
查看hive中的userdb数据库t_order表的最新一条数据:
2016080929 10010 100 2016-08-18 11:58:36.0
第一次执行 Job
[root@hadoopcswfb iwisdom]# sqoop job --exec myjob执行后
我们向MySQL中的t_order表添加一条数据，如下所示（时间自动生成，我这里指定一个）：
2016080930 10011 200 2016-08-20 01:51:30
查看执行后，hive上的t_order数据是否有变化，结果是：与执行job前一样，数据没有增加。
我们再次查看Job的详细信息。
[root@hadoopcswfb iwisdom]# sqoop job --show myjob;结果如下：
Warning: /usr/lib/hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Enter password:
Job: myjob
Tool: import
Options:
----------------------------
verbose = false
**incremental.last.value = 2016-08-20 01:48:34.0**
db.connect.string = jdbc:mysql://192.168.0.100:3306/userdb
codegen.output.delimiters.escape = 0
codegen.output.delimiters.enclose.required = false
codegen.input.delimiters.field = 0
hbase.create.table = false
db.require.password = true
hdfs.append.dir = false
db.table = t_order
import.fetch.size = null
codegen.input.delimiters.escape = 0
codegen.input.delimiters.enclose.required = false
db.username = root
codegen.output.delimiters.record = 10
import.max.inline.lob.size = 16777216
hcatalog.create.table = false
db.clear.staging.table = false
incremental.col = create_time
codegen.input.delimiters.record = 0
enable.compression = false
hive.overwrite.table = false
hive.import = true
codegen.input.delimiters.enclose = 0
hive.table.name = t_order
hive.database.name = userdb
hive.drop.delims = false
codegen.output.delimiters.enclose = 0
hdfs.delete-target.dir = false
codegen.output.dir = .
codegen.auto.compile.dir = true
mapreduce.num.mappers = 4
import.direct.split.size = 0
codegen.output.delimiters.field = 1
export.new.update = UpdateOnly
incremental.mode = DateLastModified
hdfs.file.format = TextFile
codegen.compile.dir = /tmp/sqoop-root/compile/64827b1118b076a00a8d0a47a94a3d05
direct.import = false
hive.fail.table.exists = false
db.batch = false我们发现incremental.last.value = 2016-08-20 01:48:34.0的值被更新到执行时候的时间了。
我们再次执行该job，因为我在数据插入了一条数据，该数据的时间在上面这个值之后，也就是比他新。我们观察执行后，hive上t_order表数据的变化。
第二次执行 Job
[root@hadoopcswfb iwisdom]# sqoop job --exec myjob执行后，查询新myjob信息，只列出incremental.last.value如下,该值为第二次执行myjob的时间：
incremental.last.value = 2016-08-20 02:22:57.0
查询hive上的t_order表数据的变化,同样我只列出最新的两条，如下所示：
2016080929 10010 100 2016-08-18 11:58:36.0
2016080930 10011 200 2016-08-20 01:51:30.0
LASTMODIFIED的下界是上一次执行该job的上界，也就是说，Sqoop的“Saved Jobs”机制对于增量导入类Job，自动记录了上一次的执行时间，并自动将该时间赋值给下一次执行的–last-value参数！也就是说，我们只需要通过crontab设定定期执行该job即可，job中的–last-value将被“Saved Jobs”机制自动更新以实现真正意义的增量导入。
- 将MySQL数据库中某个表的几个字段的数据导入到Hive表
sqoop import \
--connect jdbc:mysql://192.168.0.100:3306/userdb \
--username root \
--password 123 \
--table t_order \
--columns 'order_sn,user_id' \
--hive-import \
--hive-database userdb \
--create-hive-table \
-target-dir /user/hive/warehouse/userdb.db/t_order_sn_uid \
-m 1 \
--hive-table t_order_sn_uid我们这里将MySQL数据库userdb中t_order表的order_sn和user_id字段的值导入到Hive表t_order_sn_uid。其中--create-hive-table选项会自动创建Hive表，--hive-import选项会将选择的指定列的数据导入到Hive表。如果在Hive中通过SHOW TABLES无法看到导入的表，可以在conf/hive-site.xml中显式修改如下配置选项：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=hive_metastore_db;create=true</value>
</property>然后再重新运行，就能看到了。
数据导出工具export
export工具，是将HDFS平台的数据，导出到外部的结构化存储系统中，可能会为一些应用系统提供数据支持。我们看一下export工具的基本选项及其含义，如下表所示：
| 选项 | 含义说明 |
|---|---|
| –validate | 启用数据副本验证功能，仅支持单表拷贝，可以指定验证使用的实现类 |
| –validation-threshold | 指定验证门限所使用的类 |
| –direct | 使用直接导出模式（优化速度） |
| –export-dir | 导出过程中HDFS源路径 |
| -m,–num-mappers | 使用n个map任务并行导出 |
| –table | 导出的目的表名称 |
| –call | 导出数据调用的指定存储过程名 |
| –update-key | 更新参考的列名称，多个列名使用逗号分隔 |
| –update-mode | 指定更新策略，包括：updateonly（默认）、allowinsert |
| –input-null-string | 使用指定字符串，替换字符串类型值为null的列 |
| –input-null-non-string | 使用指定字符串，替换非字符串类型值为null的列 |
| –staging-table | 在数据导出到数据库之前，数据临时存放的表名称 |
| –clear-staging-table | 清除工作区中临时存放的数据 |
| –batch | 使用批量模式导出 |
其他1 空值的处理
默认情况下，如果RDB中存在空值，则导入时用字符串常量null（小写）代替所有空值。此种处理方式并不符合大多数的空值处理要求。而Sqoop提供了2个参数以供处理空值：
其中null-string用于处理数据库中文本类型的字段，null-non-string用于处理非文本类型的字段
sqoop import --connect jdbc:oracle:thin:@//myoracle:1521/pdbORCL --username DM --password-file sqoop.pwd --table PUB_DATE_D --where "QUARTER_NAME<'Q2'" --hive-import --hive-database default --null-string '\\N' --null-non-string '\\N'
其他2 合并 hdfs 文件
将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：
sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/sqoop/person/Person.jar –class-name Person –merge-key id其中，–class-name 所指定的 class 名是对应于 Person.jar 中的 Person 类，而 Person.jar 是通过 Codegen 生成的
| 参数 | 说明 |
|---|---|
| –new-data | Hdfs中存放数据的一个目录，该目录中的数据是希望在合并后能优先保留的，原则上一般是存放越新数据的目录就对应这个参数。 |
| –onto | Hdfs中存放数据的一个目录，该目录中的数据是希望在合并后能被更新数据替换掉的，原则上一般是存放越旧数据的目录就对应这个参数。 |
| –merge-key | 合并键，一般是主键ID |
| –jar-file | 合并时引入的jar包，该jar包是通过Codegen工具生成的jar包 |
| –class-name | 对应的表名或对象名，该class类是包含在jar包中的。 |
| –target-dir | 合并后的数据在HDFS里的存放目录 |
扫一扫
2304
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
