Hive数仓数据质量，Sqoop常见问题及GC回收机制

一、如何保证数据仓库数据的质量

1.从技术层面上：构建一套高效、健壮的ETL程序去保证数据清洗、装换后数据的正确性和一致性；
2.从流程层面上：整个ETL是多个任务的，按步骤顺序执行的一个过程，后置任务依赖前置任务，定期执行，整个流程需要自动化，并且那个环节出现了问题，给予预警，通知相关维护人员及时处理；
3.从管理层面上：数据仓库构建在公司各个业务系统之上，它是一面镜子，很多时候它能反映出业务系统的问题，所以需要管理层的支持和约束。

二、Sqoop常见问题

1.事务处理：由于线程的并发性，一个导入操作可能并不是原子性的。如果tasks失败了（由于网络问题或者其它的问题）， 这些tasks会尝试从它们开始导入数据的地方重新开始，会插入重复的记录。
这次写数据的时候，Sqoop不 提防这种潜在的问题。Sqoop提供的一个解决办法就是使用中间表，参数为： --staging-table --clear-staging-table；
2.字段及名称问题：sqoop 从 mysql 导入 hive 的字段名称问题 hive 中有些关键字限制，因此有些字段名称在 mysql 中可用，但是到了 hive 就不 行。部分不能在在hive中使用的字段名称 order，sort，
reduce，cast，directoy；
3.参数处理