2018年06月_枫夜求索阁

08月 07月 06月 05月 04月

原创 hadoop hive 动态分区

应用场景突然业务有要求，要求将以前的每个月的数据进行抽取保存。如果只是单纯一条一条的执行，又太过于繁琐。作为程序员，这肯定不能忍。所以，这个时候，就需要动态分区了。重要参数// 动态分区set hive.exec.dynamic.partition=true;// 非严格模式。可以不指定特定的分区。如果是严格模式，那么至少要指定一个分区set hive.exec.dyna...

2018-06-28 11:49:27 643

原创 “ error in shuffle in fetcher”的解决方案

问题场景使用hive进行数据的统计，发现数据进行到一半，就异常退出。查看了报错，是栈溢出，导致了异常。问题分析通过查找资料和查看资料，才发现，在shuffle阶段，会将map的output数据给取下来，然后根据设定的参数决定是放进内存中，还是存储到磁盘里面进行操作。而mapreduce.reduce.shuffle.memory.limit.percent这个参数默认值是0.25，代表...

2018-06-21 17:51:02 3425

原创 Java多线程写文件

问题场景调用多个线程将多个文件进行合并，当初没有考虑到多线程操作文件会造成的脏数据，导致了业务出问题。解决方法审查文件操作的方法，进行文件加锁，同一时间只能一个线程对文件进行操作。代码展示public static void copyFile(String srcFilePath, String destFilePath) throws IOExce...

2018-06-19 14:51:53 5909