1. 将数据导入到前置数据库中(MySQL)
然后我们在用阿里云的开源工具datax将数据拉取到hive中
1.1 注意事项
-
在导入到MySQL中时导入的路径只能使用双斜线(
\\)如：--导入数据 本来是但斜线会报错所以我们注意加上双斜线 LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_FCJ_NWRS_SELLBARGAIN.csv' INTO TABLE city_per.t_fcj_nwrs_sellbargain FIELDS TERMINATED BY ',' ;
1.2 数据如下：
1.3 在MySQL中的建表及导入语句如下：
-- t_fcj_nwrs_sellbargain 表
-- mysql建表语句
CREATE TABLE t_fcj_nwrs_sellbargain(
id varchar(255) comment '身份证号码',
r_fwzl varchar(255) comment '房产地址',
htydjzmj varchar(255) comment '合同中约定房子面积',
tntjzmj varchar(255) comment '房子内建筑面积',
ftmj varchar(255) comment '房子分摊建筑面积',
time_tjba varchar(255) comment '商品房备案时间',
htzj varchar(255) comment '合同总价'
)
-- 导入数据 本来是但斜线会报错所以我们注意加上双斜线
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_FCJ_NWRS_SELLBARGAIN.csv' INTO TABLE city_per.t_fcj_nwrs_sellbargain FIELDS TERMINATED BY ',' ;
-- t_gsj_reg_investor 表
CREATE TABLE t_gsj_reg_investor(
id varchar(255) comment '证件编号'
);
-- 导入数据
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_GSJ_REG_INVESTOR.csv' INTO TABLE city_per.t_gsj_reg_investor FIELDS TERMINATED BY ',' ;
-- t_gsj_reg_legrepre 表
CREATE TABLE t_gsj_reg_legrepre(
id varchar(255) comment '证件编号',
position varchar(255) comment '职务',
tel varchar(255) comment '联系电话',
appounit varchar(255) comment '任免机构',
accdside varchar(255) comment '派出单位',
posbrmode varchar(255) comment '产生方式',
offhfrom varchar(255) comment '任职期限起',
offhto varchar(255) comment '任职期限止',
stufftype varchar(255) comment '资料类型代码'
);
--导入数据
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_GSJ_REG_LEGREPRE.csv' INTO TABLE city_per.t_gsj_reg_legrepre FIELDS TERMINATED BY ',' ;
-- t_rs_zhcs_az01bsbkxx 表
CREATE TABLE t_rs_zhcs_az01bsbkxx(
id varchar(255) comment '身份证号',
citty_id varchar(255) comment '城市代码',
ss_id varchar(255) comment '社保卡号',
fkrq varchar(255) comment '发卡日期',
yxqz varchar(255) comment '有效期至',
aaz502 varchar(255) comment '卡状态',
aae008 varchar(255) comment '开户银行',
aae008b varchar(255) comment '银行网点',
aae010 varchar(255) comment '金融卡号',
aae010a varchar(255) comment '金融帐户',
aae010b varchar(255) comment '个人帐户'
);
-- 导入数据
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_RS_ZHCS_AZ01BSBKXX.csv' INTO TABLE city_per.t_rs_zhcs_az01bsbkxx FIELDS TERMINATED BY ',' ;
-- 接下来的两张表比较长
-- t_ga_hjxx_czrkjbxx 表
CREATE TABLE t_ga_hjxx_czrkjbxx(
GMSFHM varchar(200) comment'公民身份号码',
QFJG varchar(200) comment'签发机关',
YXQXQSRQ varchar(200) comment'有效期限起始日期',
YXQXJZRQ varchar(200) comment'有效期限截止日期',
XM varchar(200) comment'姓名',
CYM varchar(200) comment'曾用名',
XMPY varchar(200) comment'姓名拼音',
CYMPY varchar(200) comment'曾用名拼音',
XB varchar(200) comment'性别',
MZ varchar(200) comment'民族',
CSRQ varchar(200) comment'出生日期',
CSSJ varchar(200) comment'出生时间',
CSDGJDQ varchar(200) comment'出生地国家(地区)',
CSDSSXQ varchar(200) comment'出生地省市县(区)',
CSDXZ varchar(200) comment'出生地详址',
DHHM varchar(200) comment'电话号码',
JHRYXM varchar(200) comment'监护人一姓名',
JHRYGMSFHM varchar(200) comment'监护人一公民身份号码',
JHRYJHGX varchar(200) comment'监护人一监护关系',
JHREXM varchar(200) comment'监护人二姓名',
JHREGMSFHM varchar(200) comment'监护人二公民身份号码',
JHREJHGX varchar(200) comment'监护人二监护关系',
FQXM varchar(200) comment'父亲姓名',
FQGMSFHM varchar(200) comment'父亲公民身份号码',
MQXM varchar(200) comment'母亲姓名',
MQGMSFHM varchar(200) comment'母亲公民身份号码',
POXM varchar(200) comment'配偶姓名',
POGMSFHM varchar(200) comment'配偶公民身份号码',
JGGJDQ varchar(200) comment'籍贯国家(地区)',
JGSSXQ varchar(200) comment'籍贯省市县(区)',
ZJXY varchar(200) comment'宗教信仰',
WHCD varchar(200) comment'文化程度',
HYZK varchar(200) comment'婚姻状况',
BYZK varchar(200) comment'兵役状况',
SG varchar(200) comment'身高',
XX varchar(200) comment'血型',
ZY varchar(200) comment'职业',
ZYLB varchar(200) comment'职业类别',
FWCS varchar(200) comment'服务处所',
XXJB varchar(200) comment'信息级别',
HSQL varchar(200) comment'何时迁来',
HYQL varchar(200) comment'何因迁来',
HGJDQQL varchar(200) comment'何国家(地区)迁来',
HSSXQQL varchar(200) comment'何省市县(区)迁来',
HXZQL varchar(200) comment'何详址迁来',
HSLBZ varchar(200) comment'何时来本址',
HYLBZ varchar(200) comment'何因来本址',
HGJDQLBZ varchar(200) comment'何国家(地区)来本址',
HSSSQLBZ varchar(200) comment'何省市县(区)来本址',
HXZLBZ varchar(200) comment'何详址来本址',
SWRQ varchar(200) comment'死亡日期',
SWZXLB varchar(200) comment'死亡注销类别',
SWZXRQ varchar(200) comment'死亡注销日期',
QCRQ varchar(200) comment'迁出日期',
QCZXLB varchar(200) comment'迁出注销类别',
QWDGJDQ varchar(200) comment'迁往地国家(地区)',
QWDSSXQ varchar(200) comment'迁往地省市县(区)',
QWDXZ varchar(200) comment'迁往地详址',
CSZMBH varchar(200) comment'出生证明编号',
CSZQFRQ varchar(200) comment'出生证签发日期',
HYLB varchar(200) comment'行业类别',
QTSSXQ varchar(200) comment'其他省市县(区)',
QTZZ varchar(200) comment'其他住址',
RYLB varchar(200) comment'人员类别',
HB varchar(200) comment'户别',
YHZGX varchar(200) comment'与户主关系',
RYZT varchar(200) comment'人员状态',
RYSDZT varchar(200) comment'人员锁定状态',
LXDBID varchar(200) comment'离线DBID',
BZ varchar(200) comment'备注',
JLBZ varchar(200) comment'记录标志',
YWNR varchar(200) comment'业务内容',
CJHJYWID varchar(200) comment'创建户籍业务ID',
CCHJYWID varchar(200) comment'撤除户籍业务ID',
QYSJ varchar(200) comment'起用时间',
JSSJ varchar(200) comment'结束时间',
CXBZ varchar(200) comment'冲销标志',
JLX varchar(200) comment'街路巷',
MLPH varchar(200) comment'门(楼)牌号',
MLXZ varchar(200) comment'门(楼)详址',
PCS varchar(200) comment'派出所',
ZRQ varchar(200) comment'责任区',
XZJD varchar(200) comment'乡镇(街道)',
JCWH varchar(200) comment'居(村)委会',
PXH varchar(200) comment'排序号',
MLPID varchar(200) comment'门(楼)牌ID',
SSXQ varchar(200) comment'省市县(区)',
HH varchar(200) comment'户号',
HLX varchar(200) comment'户类型',
HHID varchar(200) comment'户号ID',
BDFW varchar(200) comment'变动范围',
XXQYSJ varchar(200) comment'信息启用时间',
DHHM2 varchar(200) comment'电话号码2',
GXSJ varchar(200) comment'更新时间戳',
ZXSJ varchar(200) comment'死亡，注销的注销时间',
CRYNBID varchar(200) comment'人员nbidchar',
CGMSFHM varchar(200) comment'身份号码2',
GXSJD varchar(200) comment'日期格式更新时间',
ZJLB varchar(200) comment'证件类别',
last_modiy TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);
--导入数据
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_GA_HJXX_CZRKJBXX1.csv' INTO TABLE city_per.t_ga_hjxx_czrkjbxx FIELDS TERMINATED BY ',' ;
-- t_gjj_sspersons
CREATE TABLE t_gjj_sspersons(
spcode varchar(255) comment '职工内码',
hjstatus varchar(255) comment '缴汇状态',
sncode varchar(255) comment '单位代码',
spname varchar(255) comment '个人姓名',
id varchar(255) comment '身份证',
spcard varchar(255) comment '卡号',
sppassword varchar(255) comment '口令',
zjfdm varchar(255) comment '助记符代码',
spkhrq varchar(255) comment '开户日期',
spperm varchar(255) comment '起缴年月',
spgz decimal comment '工资基数',
spsingl decimal comment '职工缴交率',
spjcbl decimal comment '单位缴交率',
spmfact decimal comment '月缴额',
spmfactzg decimal comment '职工月缴额',
spjym varchar(255) comment '最后缴年月',
ncye decimal comment '年初余额',
splast decimal comment '定期余额',
dwbfye decimal comment '余额单位部分',
grbfye decimal comment '余额职工部分',
spmend decimal comment '余额',
splastlx decimal comment '年初利息',
spout decimal comment '年内总支出',
spin decimal comment '年内总收入',
bnlx decimal comment '活期利息积数',
nclx decimal comment '定期利息积数',
dwhjny varchar(255) comment '单位汇缴年月',
zghjny varchar(255) comment '职工汇缴年月',
btyje decimal comment '补贴月缴额',
btye decimal comment '余额补贴部分',
btbl decimal comment '补贴计缴比例',
bthjny varchar(255) comment '补贴汇缴年月',
spxh varchar(255) comment '销户标志',
spzy varchar(255) comment '转移标志',
spxhrq varchar(255) comment '销户日期',
splr decimal comment '录入员',
spoldbankno varchar(255) comment '原帐号',
spdk varchar(255) comment '是否贷款',
spdy varchar(255) comment '是否抵押',
zhdj varchar(255) comment '帐户冻结',
spnote varchar(255) comment '备注',
modifytime varchar(255) comment '最后修改时间',
status varchar(255) comment '联名卡状态',
cbank varchar(255) comment '联名卡发卡银行',
bcyje decimal comment '补充月缴额',
bcye decimal comment '余额补充',
bcbl decimal comment '补充计缴比例',
bchjny varchar(255) comment ' 补充最后汇款年月',
zjzl decimal comment '缴存资金种类'
);
LOAD DATA local INFILE 'C:\\Users\\a_tao\\Desktop\\data\\T_GJJ_SSPERSONS.csv' INTO TABLE city_per.t_gjj_sspersons FIELDS TERMINATED BY ',' ;在MySQL中的显示如下：
注意其中有一张表是增量表。
4620
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
