实战hadoop海量数据处理系列 01：数据导入篇

实战hadoop海量数据处理系列 01：数据导入篇

本文假设读者已经按照范老师的书搭建好了eclipse环境，并且已经导入myBi文件夹下面的子工程。

在阅读本文前，强烈建议阅读原书“实现数据导入导出模块”章节。

本文的代码同步于https://github.com/titer1/Play_HadoopFelix

1 项目结构图

借用范老师的图，这是全篇的重要点，本文重要import， export的内容可以触类旁通。
原图

2 项目核心代码

这里是import.py的代码，作者已经详细注释，请认真阅读

# -*- coding:UTF-8 -*-s
'''
Created on 2014-8-26

@author: Administrator
'''

from com.util.pro_env import *
from xml.etree import ElementTree


from com.util.sqoop import SqoopUtil
import sys

#其中dt为昨天的日期，将由调度模块传入
def resolve_conf(dt):

    #获得配置文件名
    conf_file = PROJECT_CONF_DIR + "Import.xml"
    #解析配置文件
    xml_tree = ElementTree.parse(conf_file)
    #获得pras元素
    tasks = xml_tree.findall('./task')

    for task in tasks:
        #获得导入类型，增量导入或者全量导入
        import_type = task.attrib["type"]

        #获得表名集合
        tables = task.findall('./table')

        #用来保存待执行的Sqoop命令的集合
        cmds = []

        #迭代表名集合，解析表配置文件
        for i in range(len(tables)):
            #表名
            table_name = tables[i].text
            #表配置文件名
            table_conf_file = PROJECT_CONF_DIR + table_name + ".xml"

            #解析表配置文件
            xmlTree = ElementTree.parse(table_conf_file)

            #获取sqoop-shell节点
            sqoopNodes = xmlTree.findall("./sqoop-shell")

            #获取sqoop命令类型
            sqoop_cmd_type = sqoopNodes[0].attrib["type"]
            #获取
            praNodes = sqoopNodes[0].findall("./param")

            #用来保存param的信息的字典
            cmap = {}

            for i in range(len(praNodes)):
                #获得key属性的值
                key = praNodes[i].attrib["key"]
                #获得param标签中间的值
                value = praNodes[i].text
                #保存到字典中
                cmap[key] = value

                #首先组装成sqoop命令头
                command = "sqoop " + "--" +  sqoop_cmd_type

                #如果为全量导入
                if (import_type == "all"):
                    import_condition = "< " + dt
                #如果为增量导入
                elif (import_type == "add"):
                    import_condition = "= " + dt
                else:
                    raise Exception

                ##迭代字典将param的信息拼装成字符串
                for key in cmap.keys():

                    value = cmap[key]

                    #如果不是键值对形式的命令选项
                    if(value == None or value == "" or value == " "):
                        value = ""

                    #将query的CONDITIONS替换为查询条件
                    if(key == "query"):
                        value = value.replace("\$CONDITIONS", import_condition)

                    #将导入分区替换为传入的时间 
                    if(key == "hive-partition-value"):
                        value = value.replace("$dt", dt)

                    #拼装为命令
                    command += " --" + key + " " + value + "\n"

            #将命令加入至待执行命令集合            
            cmds.append(command)     

        return cmds

if __name__ == '__main__':

    #调度模块将昨天的时间传入
    dt = "2017-06-06"
    #解析配置文件，获得sqoop命令集合
    cmds = resolve_conf(dt)

    #迭代集合，执行命令
    for i in range(len(cmds)):

        cmd = cmds[i]
        print cmd
        #执行导入过程
        #SqoopUtil.execute_shell(cmd)

        ##66 在linux 上打开这段进行执行

3 运行动态图：windows模拟端

有图有真相

4 运行动态图：Centos

待更新

其他 原书代码工程解读

拿到作者工程第一步，先要对工程的结构进行分析。首先，工程领域压缩包里面有两个分类，一个是基础篇，第二个是实战篇，本系列的着力点在实战篇。myBi是实战篇的基础，建议小伙伴们首先看这个工程。

如果大家有后续问题，可以帖子后留言，我会后续跟进.