2018年04月_AlferWei

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月

转载 SolrCloud索引与搜索过程解析

一.SolrCloud简介SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。二.特色功能SolrCloud有几个特色功能：集中式的配置信息：使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zooke...

2018-04-18 16:30:14 1316

原创 Java 多线程系列 -- CountDownLatch

一个简单的跑步比赛分析比如一个跑步比赛，有五个选手参加，有两点需要注意，第一我们必须确保这5个选手都准备就绪了，才能宣布比赛开始，第二只有当5个选手都完成比赛了才能宣布比赛结束。假设这5个选手都有自己的一个独立的线程，我们需要的是等待这5个线程都准备就绪，才开始比赛；同时，我们需要等待这5个线程都完成了，才宣布比赛结束。这个时候，CountDownLatch就派上用场啦。准备比赛开始：这5个选手都...

2018-04-16 17:36:06 246

原创 git 之 git stash 命令

如果你想记录当前的工作目录的状态，但是又想回退到之前的干净的工作目录状态的时候，git stash 命令就可以派上用场了。记录当前的工作目录状态：$ git stash save查看工作目录的缓存列表：$ git stash liststash@{0}: WIP on mytest: 08a0663 Update to 2.0.4 versionstash@{1}: WIP on mytest...

2018-04-16 16:29:57 396

转载 JVM参数设置、分析

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置...

2018-04-10 23:15:40 210

原创 JVM内存管理及垃圾回收

JVM内存管理根据JVM规范，JVM把内存划分了如下几个区域：方法区堆区本地方法栈虚拟机栈程序计数器其中，方法区和堆是所有线程共享的。方法区方法区存放了要加载的类的信息(如类名，修饰符)、类中的静态变量、final定义的常量、类中的field、方法信息，当开发人员调用类对象中的getName、isInterface等方法来获取信息时，这些数据都来源于方法区。方法区是全局共享的，在一定条件下它也会...

2018-04-10 18:03:28 220

原创 Scala并发编程基础

参考：https://blog.csdn.net/lovehuangjiaju/article/details/47623177；

2018-04-10 00:57:52 176

原创 Scala隐式转换

隐式转换在scala语言当中，隐式转换是一项强大的程序语言功能，它不仅能够简化程序设计，也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言，了解其隐式转换的作用与原理是很有必要的，否则很难得以应手地处理日常开发中的问题。在scala语言中，隐式转换是无处不在的，只不过scala语言为我们隐藏了相应的细节，例如scala中的类继承层次结构中：它们存在固有的隐式转换，不需要人工进行干预，例...

2018-04-09 23:08:37 289

原创 Kafka限流

客户端认证如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1024' --entity-...

2018-04-09 22:27:11 5385

原创 jvm问题排查工具

jdk自带的jvm监控工具Java自带了几个jvm监控工具，如jstat、jmap、jstack。jstatjstat是常见的线上jvm问题排查工具，jstat用法：说明：lines: 使用interval参数，会在间隔指定时间后输出当前JVM内存的状态，这个参数是指定输出多少行后，再输出title,这样就不需要翻屏看这一列的title了。 vmid: 虚拟机的pid ...

2018-04-07 16:31:26 1440

原创 Kafka生产与消费实战

Kafka topictopic是由一些Partition Logs(分区日志)组成,其组织结构如下图所示：Partition、Replication和Leader每一个topic都可以设置它的partition数量和replication数量，Producer在生产数据时，会按照一定规则（这个规则是可以自定义的）把消息发布到topic的各个partition中。topic要实现容错需要设置多个r...

2018-04-03 23:10:51 1006

原创 Spark Streaming 性能调优

这里的Spark Streaming 性能调优，主要涉及从Kafka读数据、往Kafka中写数据的过程。Spark Streaming 对接 KafkaSpark Streaming 对接 kafka有receive和direct两种方式。基于Receiver的方式这种方式利用接收器（Receiver）来接收kafka中的数据，其最基本是使用Kafka高阶用户API接口。对于所有的接收器，从kaf...

2018-04-03 22:57:38 1522 1