数据清洗------kettle将txt数据转至数据库表中

1.创建数据库表

CREATE TABLE `inputMediaData` (
`ID`  bigint(20) NOT NULL AUTO_INCREMENT ,
`ProvideId`  text CHARACTER SET utf8 COLLATE utf8_general_ci COMMENT '厂商ID' ,
`MediaId`  varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '媒资ID' ,
`Name`  varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '电影名' ,
`IsFree`  int(11) NULL DEFAULT NULL ,
`Alias`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Category`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Hot`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Director`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Actor`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Introduction`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Thumbnails`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Region`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Language`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`Type`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`ReleaseDate`  datetime NULL DEFAULT NULL ,
`ExtendContent`  text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`UpdateTime`  timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间' ,
`Status`  varchar(1) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '0' ,
`Episode`  mediumtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`provinceId`  varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '省份：hubeitelecom' ,
`platformId`  varchar(64) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '平台编号' ,
`grade`  varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '评分' ,
PRIMARY KEY (`ID`),
INDEX `idx_media` (`MediaId`, `ProvideId`(255)) USING BTREE 
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
COMMENT='媒资数据表'
AUTO_INCREMENT=14075
ROW_FORMAT=COMPACT
;

2.新建一个文本文件temp.txt，内容如下

 

D00000001201803301712330053399783#_#致命海选#_##_#电影#_#惊悚|恐怖#_#4/4/2012 00:00:00#_#Micah Levin#_#Lola Blanc|Demarkes Dogan#_#美国#_#英语#_#故事讲述一家电影公司招聘演员，七个梦想成为电影主角的年轻人前来试镜，他们孤身来到一个沙漠中的小屋子里，发现只有摄像机却没有任何协助拍摄人员……#_##_#/cms/resources/upload/201803/30/20180330171817962.jpg
E59377#_#爱情童话#_##_#电影#_#爱情#_#7/16/2009 00:00:00#_#姜卫东|朱江华#_#姚星彤#_#内地#_##_#一对即将步入婚姻殿堂的恋人，因为家中遭遇变故而发生的种种事情。#_#6#_#/cms/resources/upload/201607/19/20160719153634.jpg
E90983#_#靖菌命解说#_##_#游戏#_#电子竞技#_#11/8/2017 00:00:00#_#未知#_#未知#_#中国#_#国语#_#靖菌命解说#_##_#/cms/resources/upload/201712/08/20171208152648564.jpg
D00000001201805091726550088391087#_#阿拉斯加边际小镇风云#_##_#纪录片#_#探秘#_#1/1/2014 00:00:00#_#未知#_#未知#_#美国#_#英语#_#阿拉斯加州东部荒野深处隐藏着全美最强悍的城镇：麦卡锡。这里曾被视为阿拉斯加的“万恶之城”，麦卡锡现在是一个孤立的城镇：因为被极端荒野所包围，这里成为不想被发现的人的避难所。有些人认为该镇应该维持边境生活，其他人则认为麦卡锡的未来必须仰赖现代化。#_##_#/cms/resources/upload/201805/09/20180509173118998.jpg
D00000001201803161057350068398627#_#怪兽卡车#_#大脚车|魔兽战车#_#电影#_#动作|喜剧|奇幻#_#12/21/2016 00:00:00#_#克里斯·韦奇#_#托马斯·列农|卢卡斯·提尔#_#美国#_#英语#_#影片讲述了卢卡斯饰演的高中生打算组装一辆卡车准备出出风头，但是报废车辆的零件哪有那么好用。这时，小镇上出现了一个类似章鱼的大怪兽，不知道从哪里来，但是这头怪兽竟然能躲进卢卡斯的卡车里，并且和卡车融为一体，就这样，卢卡斯拥有了惊世骇俗的怪兽卡车，去到哪里都是如履平地、所向披靡。#_#6#_#/cms/resources/upload/201803/16/20180316111211954.jpg
D00000001201803121417330049799546#_#爆裂飞车 第三季#_#爆裂飞车3 兽神合体#_#动漫#_#动画|热血#_#3/6/2018 00:00:00#_#王薇#_#王薇#_#中国#_#国语#_#天元的宇宙决战后，濒死的罗煞在千钧一发之际，被远古超文明时代爆裂帝王——猎天魄所救，来到地球。罗煞为了复仇，企图集齐6枚隐藏在遗迹里的爆裂晶片，复活猎天魄，利用其征服世界。飞伦和擎锋从天元宇宙胜利归来，后得知罗煞其意图。飞伦、擎锋与周皓博士联手，开始了阻止猎天魄复活的行动。#_#8.3#_#/cms/resources/upload/201803/12/20180312141845347.jpg
E24232#_#李慧娘#_#リーHuiniang#_#电影#_#剧情#_#1/1/1981 00:00:00#_#未知#_#未知#_#内地#_#中文#_#南宋末年，良家女李慧娘因战乱流离，不幸被奸相贾似道掳于贾府，充当歌姬。一日，歌姬们随贾似道游湖时，李慧娘听到太学生慷慨陈词，不禁油然产生敬慕之情，脱口赞了一声，竟招来杀身之祸。#_#8#_#/cms/resources/upload/201807/23/20180723180016071.jpg
D00000001201707121524200018598562#_#激战奇轮2#_##_#动漫#_#动画#_#11/6/2015 00:00:00#_#未知#_#未知#_#内地#_#国语#_#三百年后的奇轮星，地球和奇轮星可以通过奇轮火车来往，奇轮射手和奇轮人自由组成搭档进行奇轮对战比赛！但以罗伦为首的黑暗兵团正策划着一个以毁灭奇轮星为目的的阴谋。#_##_#/cms/resources/upload/201511/06/20151106184343.jpg
8968#_#圣诞颂歌3D版#_##_#电影#_#剧情|动画|3D#_#1/1/2009 00:00:00#_#罗伯特·泽米吉斯#_#加里·奥德曼|金·凯瑞|科林·费斯#_#美国#_##_#改编自狄更斯小说，在圣诞夜，上天派来3个精灵让性情刻薄的守财奴斯克鲁奇看看自己过去的所作所为，渐渐唤醒他人性的另一面。#_##_#/internettv/prev/KsImg/eb10ed33-392a-4b53-8c29-47b8d08b429b.jpg
D00000001201809051142210015379123#_#欧美OLLY MURSGrow Up (Live)_Olly Murs#_##_#音乐#_#音乐#_#12/22/2017 00:00:00#_#未知#_#未知#_#中国#_#中文#_#Need U_Tobu.mp4#_##_#/cms/resources/upload/201808/02/20180802093856187.jpg
D00000001201704271430550033699225#_#决战黎明#_##_#电视剧#_#战争|剧情#_#10/7/2009 00:00:00#_#庞好#_#张延|郭凯敏|寇振海#_#中国#_#国语#_#1945年，二次世界大战落下帷幕，日本帝国主义的野心也最终被击得粉碎。但是多灾多难的中华民族，却还未走到胜利的尽头。外敌退却，内战旋起。为了取得战争的主动权，国共两党在正面交锋之外，更相互派出特工获取机要情报。#_##_#/cms/resources/upload/201704/27/20170427143447.jpg
E71876#_#足球大师#_##_#电影#_#喜剧#_#10/27/2016 00:00:00#_#未知#_#加德·艾尔马莱#_#法国#_##_#一个曾经鼎鼎有名的足球明星如今因酗酒问题，陷入了离婚拉锯战，法官要求他必须找到一份稳定的工作，才能保留对女儿的看护权。别无选择，他只能去训练布列塔尼一个名叫Lourdec小岛的当地足球队。#_#7.2#_#/cms/resources/upload/201805/19/20180519231333292.jpg
D20160701164717505#_#科学怪人#_##_#音乐#_#儿童舞#_#7/1/2016 00:00:00#_#0#_#0#_#内地#_##_#儿童舞科学怪人。#_##_#/cms/resources/upload/201607/01/20160701164929.jpg
D00000001201809041416410057481183#_#港台杨宗纬天灯_杨宗纬.mp4#_##_#音乐#_#音乐#_#12/22/2017 00:00:00#_#未知#_#未知#_#中国#_#中文#_#港台杨宗纬#_##_#/cms/resources/upload/201808/02/20180802093856187.jpg
E73796#_#一代宗师#_##_#电影#_#动作#_#7/31/2013 00:00:00#_#王家卫#_#章子怡|张晋|宋慧乔|梁朝伟|张震|赵本山#_#中国香港#_##_#叶问师从咏春拳第三代传人陈华顺学习拳法，朝代更迭的混乱年代。八卦拳宗师宫羽田年事已高，承诺隐退。宫羽田的独生女宫二自幼习武，与叶问在金楼邂逅，然这浮世虚名却引得无数迷乱之人狂醉奔忙，浪掷残生。生逢乱世，儿女情长埋藏心底，被冷若寒冰的车轮碾作碎泥……#_#7.4#_#/cms/resources/upload/201611/10/20161110103526.jpg

3.打开kettle，ctrl+n建立转换。拖入 文本文件输入控件，表输出控件。鼠标选中文本文件输入并按住shift，拖动到表输出上。

 

4.点击浏览，选中之前建立的temp.txt文件后，点击增加，效果如下

 

 

5.选中内容，修改为图示2个内容

 

6.选中字段，添加相应的字段（名称与类型都与数据库中的表一致）

7.双击表输出

 

 

8.编辑相应信息。若填写没问题，提示连接错误，很有可能是因为缺少相应的数据库jar包，此时只需要将jar放进spoon.bat所在路径中的lib文件夹中即可。

 

9.添加目标表

 

10.获取字段完成后，点击确定

 

11.保存转换，并执行转换，效果如下：

 

 

12.此处出现乱码，双击表输出--->编辑-->选项，在命令参数添加如下参数

 

 

13.保存后，重新运行，此时打开数据库表