Evankaka的专栏

在程序的世界里遨游

排序:
默认
按更新时间
按访问量

phoenix-plugin项目开源

摘要:phoenix-plugin是笔者自己封装的一个类似mybtis的orm框架,专门用来操作phoenix(一个基于hbase的数据库),项目地址:https://github.com/appleappleapple/phoenix-plugin  下面来看看使用说明:phoenix-plug...

2017-05-05 13:04:04

阅读数:3240

评论数:2

Flink WordCount实例讲解

摘要:本文主要讲了一个Flink的简单的可以本地运行的wordCount程序

2017-05-04 09:21:53

阅读数:5646

评论数:1

Spark Streaming + Kafka整合实例

本文主要讲了一个Spark Streaming+Kafka整合的实例

2017-05-04 09:20:10

阅读数:5398

评论数:2

Zookeeper分布式队列的实现

摘要:本文要通过zookeeper实现一个简单可靠的分布式队列 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 一、队列 Zookeeper可以处理两种类型的队列: (1)同步队列 当一个队列的成员都聚齐时,这...

2017-05-03 09:17:03

阅读数:8030

评论数:7

Zookeeper分布式锁实现

     摘要:本文要使用Zookeeper来实现一个分布式锁,是一个悲观锁。     本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 一、锁设计   获取锁实现思路: 1. 首先创建一个作为锁目录(znode...

2017-05-03 09:14:59

阅读数:6796

评论数:2

Redis分布式锁----乐观锁的实现,以秒杀系统为例

     摘要:本文使用redis来实现乐观锁,并以秒杀系统为实例来讲解整个过程。 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 乐观锁       大多数是基于数据版本(version)的记录机制实现的。即为...

2017-05-02 10:07:37

阅读数:21602

评论数:8

Redis分布式锁----悲观锁实现,以秒杀系统为例

    摘要:本文要实现的是一种使用redis来实现分布式锁。 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning 1、分布式锁     分布式锁在是一种用来安全访问分式式机器上变量的安全方案,一般用在全局id生成...

2017-05-02 10:05:45

阅读数:10968

评论数:6

前后端分离项目的技术与框架通用方案

摘要:本文是关于前后端分离项目的技术与框架选型通用方案,是一个比较成熟的方案。目前大部分公司也是采用这个体系。

2017-03-28 08:51:29

阅读数:4311

评论数:5

Strom优化指南

摘要:本文主要讲了笔者使用Strom中的一些优化建议

2017-03-27 15:04:08

阅读数:3009

评论数:1

Flume运行原理

flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很...

2017-03-24 20:08:36

阅读数:2306

评论数:1

Spark内存管理原理(上)

Spark运行是内存分为三部分,执行内存(execute memory),存储内存(storge memory),预留内存(reserved memory).在1.6版本以前执行内存和存储内存是静态分配的,意思着应用一启动后,各区域的内存大小就是不变的。这就会带来一个后果,有时执行内存严重不足,但...

2017-03-23 08:43:48

阅读数:2099

评论数:0

Spark调优总结

下面主要是笔者根据使用Spark过程中的一些调优做一些汇总。

2017-03-21 08:37:34

阅读数:2652

评论数:0

Storm运行原理探索

Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm...

2017-03-13 08:37:23

阅读数:2237

评论数:1

Dubbo应用启动与停止脚本,超详细解析

        本周刚好研究了一下dubbo的启动脚本,所以在官网的启动脚本和公司内部的启动脚本做了一个整理,弄了一份比较通过的Dubbo应用启动和停止脚本。          下面的脚本只应用于配置分离的应用,什么叫做配置分离呢?就是使用maven打包时,借助assemble插件,打一个tar...

2017-03-12 15:01:12

阅读数:10529

评论数:4

Spark执行模式解析

摘要:本文主要讲了Spark几种不同的执行模式以及其原理

2017-03-07 08:36:10

阅读数:2389

评论数:0

Spark原理解析

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需...

2017-03-07 08:35:27

阅读数:1468

评论数:0

Flume+HDFS+Kafka+Hive实例搭建

          摘要:本文要实现的是一个使用Flume来处理Kafka的数据,并将其存储到HDFS中去,然后通过Hive外部表关联查询出来存储的数据。 所以在建立一个maven工程,整个工程最终的目录如下: 下面开始一步一步讲解 1、定义自己的source    之所以不用源生的,...

2017-03-04 17:34:07

阅读数:5931

评论数:4

Java的Spi机制研究

SPI的全称是Service Provider Interface。简单来说,SPI机制提供了一个表达接口和其具体实现类之间的绑定关系的方案。具体是在JAR包的"META-INF/services/"目录下建立一个文件,文件名是接口的全限定名,文件的内容可以有多行,每行都是该接...

2017-02-27 22:50:55

阅读数:1634

评论数:4

Java并发编程与技术内幕:消费者-生产者模式研究

本文主要实现了生产者和消费者的java代码实现

2017-02-27 20:31:22

阅读数:2258

评论数:8

Redis和DelayQueue设计具有过期时间的缓存

有一款APP,用户登陆后。会将用户的用户号,手机号、以及设备号等上报给后台的清洗程序(这里设备号是唯一的)。后台因为需要根据这三个做一定的运算。所以希望对于每一个访客-用户关系进行缓存,并只缓存10分钟,并且缓存使用redis。注意,是每一条记录都只缓存10分钟。而不是一批记录!2、解决方案 ...

2017-02-27 11:19:51

阅读数:3540

评论数:1

提示
确定要删除当前文章?
取消 删除