自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Evankaka的专栏

在程序的世界里遨游

原创 phoenix-plugin项目开源

摘要:phoenix-plugin是笔者自己封装的一个类似mybtis的orm框架,专门用来操作phoenix(一个基于hbase的数据库),项目地址:https://github.com/appleappleapple/phoenix-plugin  下面来看看使用说明:phoenix-plug...

2017-05-05 13:04:04

阅读数 3671

评论数 2

原创 Flink WordCount实例讲解

摘要:本文主要讲了一个Flink的简单的可以本地运行的wordCount程序

2017-05-04 09:21:53

阅读数 10007

评论数 3

原创 Spark Streaming + Kafka整合实例

本文主要讲了一个Spark Streaming+Kafka整合的实例

2017-05-04 09:20:10

阅读数 6561

评论数 2

原创 Zookeeper分布式队列的实现

摘要:本文要通过zookeeper实现一个简单可靠的分布式队列 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 一、队列 Zookeeper可以处理两种类型的队列: (1)同步队列 当一个队列的成员都聚齐时,这...

2017-05-03 09:17:03

阅读数 9354

评论数 8

原创 Zookeeper分布式锁实现

     摘要:本文要使用Zookeeper来实现一个分布式锁,是一个悲观锁。     本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 一、锁设计   获取锁实现思路: 1. 首先创建一个作为锁目录(znode...

2017-05-03 09:14:59

阅读数 8052

评论数 4

原创 Redis分布式锁----乐观锁的实现,以秒杀系统为例

     摘要:本文使用redis来实现乐观锁,并以秒杀系统为实例来讲解整个过程。 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 乐观锁       大多数是基于数据版本(version)的记录机制实现的。即为...

2017-05-02 10:07:37

阅读数 28430

评论数 11

原创 Redis分布式锁----悲观锁实现,以秒杀系统为例

    摘要:本文要实现的是一种使用redis来实现分布式锁。 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 1、分布式锁     分布式锁在是一种用来安全访问分式式机器上变量的安全方案,一般用在全局id生成...

2017-05-02 10:05:45

阅读数 13274

评论数 7

原创 前后端分离项目的技术与框架通用方案

摘要:本文是关于前后端分离项目的技术与框架选型通用方案,是一个比较成熟的方案。目前大部分公司也是采用这个体系。

2017-03-28 08:51:29

阅读数 5145

评论数 7

原创 Strom优化指南

摘要:本文主要讲了笔者使用Strom中的一些优化建议

2017-03-27 15:04:08

阅读数 3154

评论数 1

原创 Flume运行原理

flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很...

2017-03-24 20:08:36

阅读数 2575

评论数 1

原创 Spark内存管理原理(上)

Spark运行是内存分为三部分,执行内存(execute memory),存储内存(storge memory),预留内存(reserved memory).在1.6版本以前执行内存和存储内存是静态分配的,意思着应用一启动后,各区域的内存大小就是不变的。这就会带来一个后果,有时执行内存严重不足,但...

2017-03-23 08:43:48

阅读数 2561

评论数 0

原创 Spark调优总结

下面主要是笔者根据使用Spark过程中的一些调优做一些汇总。

2017-03-21 08:37:34

阅读数 3213

评论数 0

原创 Storm运行原理探索

Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm...

2017-03-13 08:37:23

阅读数 2661

评论数 2

原创 Dubbo应用启动与停止脚本,超详细解析

        本周刚好研究了一下dubbo的启动脚本,所以在官网的启动脚本和公司内部的启动脚本做了一个整理,弄了一份比较通过的Dubbo应用启动和停止脚本。          下面的脚本只应用于配置分离的应用,什么叫做配置分离呢?就是使用maven打包时,借助assemble插件,打一个tar...

2017-03-12 15:01:12

阅读数 12802

评论数 4

原创 Spark执行模式解析

摘要:本文主要讲了Spark几种不同的执行模式以及其原理

2017-03-07 08:36:10

阅读数 2608

评论数 0

原创 Spark原理解析

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需...

2017-03-07 08:35:27

阅读数 1669

评论数 0

原创 Flume+HDFS+Kafka+Hive实例搭建

          摘要:本文要实现的是一个使用Flume来处理Kafka的数据,并将其存储到HDFS中去,然后通过Hive外部表关联查询出来存储的数据。 所以在建立一个maven工程,整个工程最终的目录如下: 下面开始一步一步讲解 1、定义自己的source    之所以不用源生的,...

2017-03-04 17:34:07

阅读数 7379

评论数 5

原创 Java的Spi机制研究

SPI的全称是Service Provider Interface。简单来说,SPI机制提供了一个表达接口和其具体实现类之间的绑定关系的方案。具体是在JAR包的"META-INF/services/"目录下建立一个文件,文件名是接口的全限定名,文件的内容可以有多行,每行都是该接...

2017-02-27 22:50:55

阅读数 1954

评论数 3

原创 Java并发编程与技术内幕:消费者-生产者模式研究

本文主要实现了生产者和消费者的java代码实现

2017-02-27 20:31:22

阅读数 2717

评论数 0

原创 Redis和DelayQueue设计具有过期时间的缓存

有一款APP,用户登陆后。会将用户的用户号,手机号、以及设备号等上报给后台的清洗程序(这里设备号是唯一的)。后台因为需要根据这三个做一定的运算。所以希望对于每一个访客-用户关系进行缓存,并只缓存10分钟,并且缓存使用redis。注意,是每一条记录都只缓存10分钟。而不是一批记录!2、解决方案 ...

2017-02-27 11:19:51

阅读数 4265

评论数 1

原创 Hbase常用SQL-DDL与DML汇总

Hbase是一个非关系型,面向列族的数据库,其插入和查询的性能远高于一般关系型数据库,下面主要来看一下一些常用的sql.

2017-02-22 08:28:53

阅读数 2500

评论数 0

原创 Sqoop使用实例讲解

摘要:本文主要讲了笔者在使用sqoop过程中的一些实例

2017-02-21 08:38:46

阅读数 2111

评论数 0

原创 Hive编程指南-Spark操作Hive

摘要:本文将要说明如何使用Spark来对Hive进行操作

2017-02-20 08:41:53

阅读数 7583

评论数 0

原创 Hive编程指南-JDBC连接、脚本执行

摘要:本文主要讲了如何通过java来连接Hive,以及如何执行hive脚本

2017-02-14 08:48:30

阅读数 2347

评论数 0

原创 Hive编程指南-数据类型、DDL、DML、常用字符串函数

摘要:本文主要讲了Hive的数据基本,及一些学用的DDL,DML语句,常用字符串函数。

2017-02-13 08:25:23

阅读数 994

评论数 0

原创 Hive编程指南-表创建、内部表、外部表

摘要:本文主要介绍了Hive创建表的一些知识,包含内部表、外部表、分区和分桶等。

2017-02-10 09:10:50

阅读数 3244

评论数 0

原创 Hadoop实战演练:搜索数据分析----每秒搜索量计算与展示(5)

本文使用hadoop分析每秒的搜索量并保存到mysql存储和展示

2016-09-15 16:03:25

阅读数 2490

评论数 0

原创 Hadoop实战演练:搜索数据分析----多个不同的Job进行串连(4)

在hadoop中,一个job需要另一个job的输出结果作为输入源。本文写了一个例子来设置4个不同Job的依赖实例

2016-09-15 15:47:07

阅读数 2126

评论数 0

原创 Hadoop实战演练:搜索数据分析----计算结果存储到Mysql(3)

本文主要讲了如何将hadoop的运行结果存储到mysql

2016-09-15 15:32:20

阅读数 2393

评论数 0

原创 Hadoop实战演练:搜索数据分析----TopK计算(2)

本文使用Hadoop进行TopK的计算

2016-09-15 15:29:49

阅读数 2511

评论数 2

原创 Hadoop实战演练:搜索数据分析----数据去重 (1)

摘要:本文讲了如何使用hadoop进行数据去重

2016-09-15 15:24:47

阅读数 2582

评论数 0

原创 Java并发编程与技术内幕:聊聊锁的技术内幕(上)

在Java并发编程里头,锁是一个非常重要的概念。就如同现实生活一样,如果房子上了锁。别人就进不去。Java里头如果一段代码取得了一个锁,其它地方再想去这个锁(或者再执行这个相同的代码)就都得等待锁释放。锁其实分成非常多。比如有互斥锁、读写锁、乐观锁、悲观锁、自旋锁、公平锁、非公平锁等。包括信号量其...

2016-07-11 07:41:55

阅读数 18001

评论数 1

原创 Java并发编程与技术内幕:CopyOnWriteArrayList、CopyOnWriteArraySet源码解析

本文主要讲了Java中CopyOnWriteArrayList 、CopyOnWriteArraySet的源码分析

2016-07-11 07:40:42

阅读数 5791

评论数 0

原创 Java并发编程与技术内幕:ConcurrentHashMap源码解析

本文主要讲了Java中ConcurrentHashMap 的源码

2016-06-27 08:54:30

阅读数 5061

评论数 2

原创 Java并发编程与技术内幕:ArrayBlockingQueue、LinkedBlockingQueue及SynchronousQueue源码解析

本文主要讲了Java中BlockingQueue的源码一、BlockingQueue介绍与常用方法BlockingQueue是一个阻塞队列。在高并发场景是用得非常多的,在线程池中。如果运行线程数目大于核心线程数目时,也会尝试把新加入的线程放到一个BlockingQueue中去

2016-06-21 09:18:29

阅读数 6919

评论数 3

原创 Java并发编程与技术内幕:ThreadFactory、ThreadLocal

ThreadFactory这个故名思义,就是一个线程工厂。用来创建线程。这里为什么要使用线程工厂呢?其实就是为了统一在创建线程时设置一些参数,如是否守护线程。线程一些特性等,如优先级。通过这个TreadFactory创建出来的线程能保证有相同的特性。

2016-06-20 11:15:14

阅读数 6759

评论数 4

原创 Java并发编程与技术内幕:ThreadGroup线程组应用

线程组ThreadGroup表示一组线程的集合,一旦一个线程归属到一个线程组之中后,就不能再更换其所在的线程组。那么为什么要使用线程组呢?个人认为有以下的好处:方便统一管理,线程组可以进行复制,快速定位到一个线程,统一进行异常设置等。ThreadGroup它其实并不属于Java并发包中的内容,它是...

2016-06-13 09:09:54

阅读数 14873

评论数 3

原创 Java并发编程与技术内幕:Callable、Future、FutureTask、CompletionService

在上一文章中,笔者介绍了线程池及其内部的原理。今天主要讲的也是和线程相关的内容。一般情况下,使用Runnable接口、Thread实现的线程我们都是无法返回结果的。但是如果对一些场合需要线程返回的结果。就要使用用Callable、Future、FutureTask、CompletionServic...

2016-06-12 08:53:38

阅读数 19088

评论数 14

原创 Java并发编程与技术内幕:线程池深入理解

          林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka          摘要: 本文主要讲了Java当中的线程池的使用方法、注意事项及其实现源码实现原理,并辅以实例加以说明,对加深Java线程池的理解有很大的帮助。    ...

2016-06-08 08:38:57

阅读数 37106

评论数 8

原创 跟我学AngularJs:AngulaJs开发技巧汇总(持续更新)

     林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka   本教程使用AngularJs版本:1.5.3 AngularJs GitHub: https://github.com/angular/angular.js/ Angul...

2016-04-27 10:00:41

阅读数 8321

评论数 1

提示
确定要删除当前文章?
取消 删除