LwpHelloWorld-CSDN博客

原创 Sql语句优化

1.count的优化：比如：计算id大于5的城市a. select count() from world.city where id > 5;b. select (select count() from world.city) – count() from world.city where id <= 5;a语句当行数超过11行的时候需要扫描的行数比b语句要多，b语句扫描了6行...

2019-08-30 18:46:26 160

原创 String，StringBuffer，StringBuilder之间的区别

1、在字符串不经常发生变化的业务场景优先使用String(代码更清晰简洁)。如常量的声明，少量的字符串操作(拼接，删除等)；2、在单线程情况下，如有大量的字符串操作情况，应该使用StringBuilder来操作字符串。不能使用String"+"来拼接而是使用，避免产生大量无用的中间对象，耗费空间且执行效率低下（新建对象、回收对象花费大量时间）。如JSON的封装等；3、在多线程情况下，如有大量的...

2019-08-30 08:54:50 131

原创 Hive数仓数据质量，Sqoop常见问题及GC回收机制

一、如何保证数据仓库数据的质量1.从技术层面上：构建一套高效、健壮的ETL程序去保证数据清洗、装换后数据的正确性和一致性；2.从流程层面上：整个ETL是多个任务的，按步骤顺序执行的一个过程，后置任务依赖前置任务，定期执行，整个流程需要自动化，并且那个环节出现了问题，给予预警，通知相关维护人员及时处理；3.从管理层面上：数据仓库构建在公司各个业务系统之上，它是一面镜子，很多时候它能反映出业务系...

2019-08-29 21:17:05 863

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人