kexin_010-CSDN博客

原创 scala程序写Spark程序实现黑名单过滤

package com.bigdata import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} /** * */ object BlackWhite { def main(args: Array[String]) { createContext

2016-12-19 16:54:39 1077

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的

2016-12-18 17:50:09 3158

原创 scala语言二次排序实现

object SecondSort { def main(args: Array[String]) { val conf=new SparkConf().setAppName("SecondSort").setMaster("local[2]") val sc=new SparkContext(conf) val textFile=sc.textFile("/s

2016-12-18 09:22:38 502

原创设计模式--->单例模式

单例模式，确保一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。单例模式是23中设计模式中最简单的设计模式，实现的要素是： 1.私有化构造器 2.指向自己实例的私有静态引用 3.以自己实例为返回值的静态的公有的方法单例模式实现有两种方法：饿汉式和懒汉式饿汉式： public class Singleton{ private static Singleton sing

2016-12-18 08:47:07 207

原创查找算法---二分查找

利用二分查找算法查找某一个元素，前提条件是该被查找的元素是一个已经有序的数组。二分查找的思想是将数组元素的最高位(high)和最低位(low)进行标记，取数组元素的中间(mid)和和要查找的值(key)进行比较，如果目标值比中间值要大，则将最低位设置为mid+1，继续进行查找。如果目标值小于中间值，则将最高位设置为mid-1，继续进行查找，直到high public int binSearc

2016-12-17 22:41:25 245

原创算法排序---快速排序

快速排序是一个很普遍的也很重要的排序方法，在面试中是经常问到一个排序方法。快速排序是采用分而治之的方法运用到排序中的典型例子。思想是，通过一个枢轴(pivot)元素将n个元素的序列分为两列，一列元素全部比pivot元素小，一列元素全部比pivot元素大。然后对着两列分别进行快速排序，等将此两列进行排序完成之后，则整个序列就已经是完整的序列。 //分区，即按照pivot进行分成两个序列 pr

2016-12-17 21:45:42 268

原创 HBase与hive整合出现的问题与解决方案

hive整合hbase时，创建hive表语句的时候没有错误但是报错 hive语句 create external table event_logs_20151220(key string, pl string, ver string, s_time string, u_ud string, u_sd string, en string) stored by 'org.apache.hadoo

2016-11-24 22:01:28 924

kexin_010的博客