kettle同步数据到hive 巨慢_一不小心做了个大数据中台(1)

0 1业务背景

即将火爆到起飞的教育行业，还是ToB的

曾经有一份工作，我有幸接触到，做的是教育行业，而且是ToB的。

大数据、教育、ToB，三个风口啊，别说猪了，铅球都能飞起来了。

不过，这次不是聊八卦了，而是要说技术内容了。

所谓的教育ToB，说成是多媒体教学系统就很好理解了。

客户主要是学校或教育单位，用户以老师和学生为主。

将老师的课堂讲解、布置作业、学生答题、成绩统计等全部在线上，并提供一些数据分析、电子阅卷等辅助功能；

同时，还有一个相对薄弱的学生家长端，主要是可以查看学生成绩、学习情况、购买一些练习等。

额外说一句，现在教育成本还真是越来越来高了，老师经常发给学生一个pdf，就是作业了，让学生自己想办法打印，做完再交回去，我看到很多打印店都推出了会员业务。

0 2技术背景

教师端

教师端是一个独立的业务系统，是很标准的一个web项目，前后端分离，数据库是mysql。

最关键的3个业务场景是教师出卷(一份作业或一份试卷，统一被认为是一份试卷)，学生作答，教师阅卷。

数据中心

使用sqoop工具，每天0点开始，将前一天的数据从mysql同步到hdfs，结合Hive做数据处理。调度工具是kettle，对，你没看错，就是