Evankaka的专栏

一、安装scala1、下载taz包进入http://www.scala-lang.org/download/下载后解压2.配置环境变量Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。/etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个）.bash_profile 文件的路径是在当前用户下。vim ~/.bash_...

 一、ForkJoin介绍     ForkJoin是Java7提供的原生多线程并行处理框架，其基本思想是将大人物分割成小任务，最后将小任务聚合起来得到结果。它非常类似于HADOOP提供的MapReduce框架，只是MapReduce的任务可以针对集群内的所有计算节点，可以充分利用集群的能力完成计算任务。ForkJoin更加类似于单机版的MapReduce。        二、...

       笔者最近做一个项目被mysql驱动包的的超时设置给坑了，起因就是因为没设置好connection timeout 和socket timeout，导致线程全部阻塞等待，机器线程全挂起，也无法处理新的其它请求,所以做了下面一些总结。1、常见超时 transaction timeout       设置的是一个事务的执行时间，里头可能包含多个statement,statem...

 一、volatile变量       Java语言提供了一种稍弱的同步机制，即volatile变量，用来确保将变量的更新操作通知到其他线程。当把变量声明为volatile类型后，编译器与运行时都会注意到这个变量是共享的，因此不会将该变量上的操作与其他内存操作一起重排序。volatile变量不会被缓存在寄存器或者对其他处理器不可见的地方，因此在读取volatile类型的变量时总会返回最新写入的...

一、限流场景       很多做服务接口的人或多或少的遇到这样的场景，由于业务应用系统的负载能力有限，为了防止非预期的请求对系统压力过大而拖垮业务应用系统。也就是面对大流量时，如何进行流量控制？服务接口的流量控制策略：分流、降级、限流等。本文讨论下限流策略，虽然降低了服务接口的访问频率和并发量，却换取服务接口和业务应用系统的高可用。1、实际场景中常用的限流策略： Nginx前端限流...

1、什么是Stream       Java 8 API添加了一个新的抽象称为流Stream，可以让你以一种声明的方式处理数据。Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并...

1.RabbitMq简介     AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。       RabbitMQ是一个开源的AMQP实...

1.Kafka简介       Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的...

1.什么是DelayQueue     DelayQueue 是 Delayed 元素的一个无界阻塞队列，只有在延迟期满时才能从中提取元素。该队列的头部 是延迟期满后保存时间最长的 Delayed 元素。如果延迟都还没有期满，则队列没有头部，并且 poll 将返回 null。当一个元素的 getDelay(TimeUnit.NANOSECONDS) 方法返回一个小于等于 0 的值时，将发生到期。即...

场景：有三个线程t1、t2、t3。确保三个线程t1执行完后t2执行，t2执行完成后t3执行。1.使用join1.使用join     thread.Join把指定的线程加入到当前线程，可以将两个交替执行的线程合并为顺序执行的线程。比如在线程B中调用了线程A的Join()方法，直到线程A执行完毕后，才会继续执行线程B。t.join();      //调用join方法，等待线程t执行完毕t.join...

在HBase中，只有一个单一的按照字典序排序的rowKey索引，当使用rowKey来进行数据查询的时候速度较快，但是如果不使用rowKey来查询的话就会使用filter来对全表进行扫描，很大程度上降低了检索性能。而Phoenix提供了二级索引技术来应对这种使用rowKey之外的条件进行检索的场景。其主要有以下四种索引类型1、Covered Indexes(覆盖索引)覆盖索引：只需要通过索引就能返回

常用java处理工具记录

rpc过程简单实现

摘要：phoenix-plugin是笔者自己封装的一个类似mybtis的orm框架，专门用来操作phoenix（一个基于hbase的数据库），项目地址：https://github.com/appleappleapple/phoenix-plugin  下面来看看使用说明：phoenix-plugin使用说明一、概述Phoenix-Plugin 是一个使用jdbc封装了操作Hbase的工具类.可以

摘要：本文主要讲了一个Flink的简单的可以本地运行的wordCount程序

本文主要讲了一个Spark Streaming+Kafka整合的实例

摘要：本文要通过zookeeper实现一个简单可靠的分布式队列本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning一、队列Zookeeper可以处理两种类型的队列：（1）同步队列当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达。例如一个班去旅游，看是否所有人都到齐了，到齐了就发车。例如有个...

     摘要：本文要使用Zookeeper来实现一个分布式锁，是一个悲观锁。    本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning一、锁设计  获取锁实现思路：1. 首先创建一个作为锁目录(znode)，通常用它来描述锁定的实体，称为:/lock_node2. 希望获得锁的客户端在锁目录下创建zno...

     摘要：本文使用redis来实现乐观锁，并以秒杀系统为实例来讲解整个过程。本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning乐观锁      大多数是基于数据版本（version）的记录机制实现的。即为数据增加一个版本标识，在基于数据库表的版本解决方案中，一般是通过为数据库表增加一个”version”字...

    摘要：本文要实现的是一种使用redis来实现分布式锁。本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning1、分布式锁    分布式锁在是一种用来安全访问分式式机器上变量的安全方案，一般用在全局id生成，秒杀系统，全局变量共享、分布式事务等。一般会有两种实现方案，一种是悲观锁的实现，一种是乐观锁的实现。...