- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hive SQL的编译过程
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比
2017-11-05 19:14:18
254
转载 解决MapReduce数据倾斜
在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的拖慢了整个任务的完成时间，硬件不同就不说了，应用的类型不同其中就比如page rank 或者data mining 里面一些计算，它的每条记录消耗的成本不太一样，这里只讨论关于关系型运算的（一般能用SQL表述的) 数据切分上的
2017-11-05 19:08:27
518
原创 文章标题
import java .lo.File/*IO流 向右反斜杠在Java中是作为转义序列的开始转义序列后面跟上3个数表示八进制转义问：\123 为什么不用\1而是用\123呢答：编译器有着贪婪的原则，file类既可以表示一个文件，也可以表示一个路径（文件夹）当我们创建File类型的对象时，在硬盘上不会生成任何的信息如果要下硬盘上生成相应的文件时，我们需要调用createNewFil
2017-08-29 23:49:31
218
原创 集合
集合：集合是含有多个元素构成的一个整体。可以将集合看做事一个容器，能够存放元素，并且在需要时能够获取元素。集合与数组： 1.数组的数据结构比集合简单，因此，数组的性能好于集合 2.数组是定长的，数组对象一经创建，其长度就不能进行修改。可以根据需要底层实现自动扩容 3.数组提供的功能相对单一，集合提供了很多有用的的方法，可以用来操作集合中的元素Collection 接口是集合框架中两大根接口之一
2017-08-28 18:48:23
304
原创 多态
多态多态 指的就是多种形态。不同类型的对象，在执行同一个行为时，可以变现出不同的特征多态可以根据运行时对象的真正类型来决定调用哪一个方法实现多态的前提：1 继承 2 重写父类的方法重写与隐藏 重写会根据运行时对象的真正类型来决定访问哪个成员 隐藏式根据编译期间引用的类型来决定访问哪个成员静态成员变量，实例成员变量和静态方法时根据
2017-08-16 19:18:08
207
原创 继承
继承体现的是一般与特殊的关系。如果两个类（类型）存在一般与特殊的关系时，我们就成特殊的类型继承了一般的类型。特殊的类型称为子类，一般的类型称为父类。如果子类继承父类，子类就具有父类的一切功能。父类能做到的的事情，子类也可以完成。如果A继承B, A就会称为一种特殊的B，A就是子类，B就是父类A就会从B类中继承功能（成员）。A具有B类的一切能力子类继承了父类，子
2017-08-16 09:54:28
540
原创 数组工具类
binarySearch(int[] a, int key) 使用二分搜索法来搜索指定的 int 型数组，以获得指定的值。必须在进行此调用之前对范围进行排序（通过sort(int[], int, int) 方法）。例：import java.util.Arrays;public class ArrayTest{public static void main
2017-08-15 20:40:16
265
原创 流程控制-if-else语句
流程控制：1.条件判断语句if-elseif-else语句测试条件的结果，然后根据此结果来执行相应的操作。它可用于以两个或者多个不同的路径来执行程序。if-else语句可分为:if if-elseif-elae ifif-else if -else说明：在多选择分支下，应该按照分支的执行频率进行排序。执行频率高的靠前if(条件表达式){
2017-08-15 20:05:20
1524
原创 包的用法
包类似于操作系统中的文件夹包的作用：1 包可以提供文件的分类管理、2 包可以提供独立的命名空间，可以解决命名上的冲突3 包可以提供访问权限的控制。（可以控制一个类型在保外是否可见，从而实现更好的封装性）包的声明： package 包名； package 包名.子包名；以前的类没有显示声明包，则类处于无名包（默认包）之中。
2017-08-15 10:04:27
530
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人