大数据开发必备技能_第三阶段10_数据迁移技术实战指南-CSDN博客

本文链接：https://blog.csdn.net/weixin_43560239/article/details/147442433

摘要

本文全面解析Hive数据迁移的两种核心方案，深入讲解中间文件法与Sqoop工具的使用技巧。通过15个真实操作示例、6个常见错误场景分析及5个典型面试问题，帮助读者掌握从基础迁移到自动化调度的完整技能体系。

1. 数据迁移方法概述

1.1 方法对比矩阵

方法类型	适用场景	数据量限制	优势特点
中间文件法	小数据量迁移	<10GB	简单灵活，无需额外工具
Sqoop工具	大数据量迁移	无限制	自动化高效，支持增量
Shell脚本	周期性迁移	无限制	可定制流程，自动调度

2. 中间文件迁移方案

2.1 四步迁移流程

bash

# Step1: 创建Hive目标表
hive -e "CREATE TABLE t_score(sno int, class string, score int)
         ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';"

# Step2: 导出MySQL数据到文件
mysql -uroot -p123456 -e "SELECT * FROM dbhome.t_score" > /home/1

# Step3: 清除文件表头
sed -i '1d' /home/1

# Step4: 加载到Hive
hive -e "LOAD DATA LOCAL INPATH '/home/1' INTO TABLE s521.t_score"

2.2 注意事项

字符编码统一建议使用UTF-8
字段分隔符需与Hive表定义一致
日期格式需要显式转换

3. Sqoop迁移方案

3.1 完整迁移示例

bash

sqoop import \
--connect jdbc:mysql://node100:3306/lee \
--username root \
--password 123456 \
--table t_chongzhi \
--fields-terminated-by "\t" \
--lines-terminated-by "\n" \
--hive-import \
--hive-overwrite \
--create-hive-table \
--hive-database student \
--hive-table hive_chongzhi \
--delete-target-dir \
--m 4

3.2 核心参数解析

参数	作用说明	推荐值
--split-by	并行切分字段	主键字段
--compress	启用压缩	-Dcompress=true
--direct	快速模式（MySQL限定）	提升导出速度
--incremental	增量导入模式	append/lastmodified

4. Shell脚本自动化

4.1 存储过程调用示例

bash

#!/bin/sh
# 数据生成脚本
mysql -uroot -p123456 <<EOF
USE lee;
DELIMITER $$
CREATE PROCEDURE p_aaa()
BEGIN
  DECLARE a INT DEFAULT 1;
  WHILE a <= 1000 DO
    INSERT INTO t_id VALUES(a);
    SET a = a + 1;
  END WHILE;
END$$
DELIMITER ;
CALL p_aaa();
EOF

4.2 自动化调度方案

bash

#!/bin/sh
# 每日迁移脚本
timestamp=$(date +"%Y%m%d")
log_file="/logs/migration_${timestamp}.log"

echo "[$(date)] 开始数据迁移" >> $log_file
sqoop import ... >> $log_file 2>&1
echo "[$(date)] 迁移完成" >> $log_file

5. 常见问题与解决方案

5.1 典型错误场景

字段类型不匹配
现象：Hive表STRING字段接收MySQL的DATETIME
方案：使用--map-column-hive参数强制类型映射
中文乱码问题
方案：添加参数-D sqoop.export.records.per.statement=1 --options-file encoding=UTF-8
主键冲突
方案：结合--incremental append模式进行增量迁移

6. 综合练习

练习1：百万级数据迁移

bash

# 需求：将MySQL的user_log表（500万条）迁移到Hive
# 要求：
# 1. 保留原有数据格式
# 2. 按日期分区存储
# 3. 每日增量更新
# 请编写完整sqoop命令

练习2：异常处理实战

bash

# 以下命令执行失败，请找出3处错误
sqoop import \
--connect jdbc:mysql://node1:3306/test \
--username root \
--table orders \
--target-dir /user/hive/warehouse \
--m 4