自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Cas原理备忘-

cas原理和流程经常有新人问我cas的原理,解释了很多遍,有时候会很不耐烦。恰好看到文章单点登陆服务端搭建教程用文字描述的很细致,所以顺手抄录了其中的关键描述。目的是以后有人问,直接把摘录的blog扔给他。用户通过browser请求cas client A端的资源。client A端发现用户未登录(client没有收到ST),redirect到cas server,并且把用户请求服...

2019-12-19 22:06:23 43

原创 Netty中用于打印字节流(类似winhex)的工具类及其改进

Netty中类似winhex用于打印字节流的工具类三年前,本人为了查看java类字节码,使用了一款叫做winhex的软件用于打开.class的二进制文件,当时最大的感觉就是如获至宝。winhex的界面截图如下所示:时隔一年,本人在阅读Netty源码的时候,竟然发现netty中也存在一个类似winhex的工具类ByteBufUtil。 该类中的方法:*public static void ap...

2019-08-01 19:35:58 439

原创 netty-ResourceLeakDetector用法测试

在netty中,只要实现了ReferenceCounted 这个接口的类,都需要保证在正确的时刻调用"release"方法,否则这个对象的引用计数无法被重置为0。最终后果是这个被使用过的对象无法返回对象池或无法释放其内部占用的内存,从而导致内存泄漏。netty中, 即便是老手,也经常会因为对引用计数对象的不当使用导致内存泄漏,幸运的是netty也提供了检测内存泄漏的工具类ResourceLeak...

2019-03-04 19:35:44 2132

原创 netty-FastThreadLocal用法测试

2017年写Netty相关文章的时候,关于Netty中FastThreadLocal.java源码解读的文章还很少。今天(2019-02-25)回头过来整理的时候,发现网上已经涌现出了许多篇介绍FastThreadLocal.java的文章,并且,已经有解读的比较详实的文章,所以本人已经不打算进一步分析源码了。此处暂且列出几篇优秀的博文供大家查阅。1. Netty精粹之设计更快的ThreadL...

2019-03-04 18:54:57 264

原创 postgres主从搭建步骤

----------------------------------------------------- 删除备库用户psql.exe -U postgres -h 127.0.0.1 -p 5432 -c “drop user if exists repl;”--------------------------------------------------- 新增备库用户psql...

2019-02-15 19:28:43 297

原创 RabbitMQ安装笔记

1 安装Erlang1下载erlang安装包,然后安装。原因在于RabbitMQ服务端代码是使用并发式语言erlang编写的,下载地址:http://www.erlang.org/downloads,双击.exe文件进行安装就好,安装完成之后创建一个名为ERLANG_HOME的环境变量,其值指向erlang的安装目录,同时将%ERLANG_HOME%\bin加入到Path中,最后打开命令行,输入...

2019-02-15 18:07:53 75 1

原创 代码注释配置教程-适用于IntelliJ IDEA编辑器

IDEA 注释模板分为两部分:方法的注释和类的注释。方法的注释需要在方法内部手动输入comment,按回车生效;类的注释自动生成,只需要手动输入类的说明信息即可。方法注释模板进入settings->Editor->Live Templates点击最右边的“+”按钮,选择“Template Group”。在弹出的对话框中输入group名后,在中间选择刚刚创建的gro...

2018-12-13 21:01:58 217

原创 kafka多线程消费和手动提交偏移量java程序示例

本人收藏了一篇关于kafka多线程消费和手动提交偏移量的博文 , 设计思路还不错, 所以也一并分享给大家 :

2018-09-28 11:16:39 2646 4

原创 一个使用多线程发送消息到kafka集群的java程序

一个使用多线程发送消息到kafka集群的java程序本人之前参与的某个大数据项目,由于测试的需要,所以帮助写了一个数据发送工具用于发送大量数据到kakfa进行业务性能压测。程序虽然简单,但我想对于初学kafka的同学,还是有一定的借鉴意义的,遂打算贡献出来。本来是打算把源码打成压缩包上传的,无奈公司在安全方面做的很严格,将文件上传到csdn, github等网站会被公司电脑检测到并被禁止,无奈以...

2018-09-27 20:46:44 2914

转载 DirectByteBuffer内存回收笔记

今天在看netty源码时候又再次遇到了DirectByteBuffer,关于DirectByteBuffer的内存回收机制,在netty框架中被封装的面目全非,但其回收机制也是万变不离其宗,下面这几篇简单易懂的文章就介绍了DirectByteBuffer的概念极其内存回收方式,在这里和大家分享一下: 文章列表 jvm堆外内存–DirectByteBuffer java...

2018-08-06 20:31:06 1876

原创 使用多线程往同一个文件写入数据的线程安全的例子(java实现)

本文给出了一个如何利用java提供的类MappedByteBuffer对文件进行并发写入的例子。具体实现思路就举个列子说明吧: 假设有10000个字节需要写入某个文件,为了加快写入速度,可以开启2个线程,第一个线程将前5000个字节写入文件0~4999的位置,另外一个线程将后5000个字节写入文件5000~9999的位置,等2个线程都写入完成后。我们就成功的将10000个字节完整的写入到了文件中。...

2018-08-01 17:56:05 12417 4

原创 在纯函数中使用局部可变状态的Scala代码示例

这个例子来源于scala圣经级教程《Functional Programming in Scala》,虽然原书的随书代码可以找到这些类的影子,但却没有关于如何使用这些类的示例代码,本人在阅读此书期间,除了跟着书中的代码敲了一遍之外,还写了一些测试代码进行验证,贴出来作为blog主要是为了方便自己,也为那些同样在阅读此书的人参考, 因为或许有可能你看了书本也不知道如何使用这些现成的函数和库。...

2018-07-25 19:54:02 204

原创 可应用和可遍历函子(Applicative And Traversable Functor)在Scala中的应用笔记

这个例子来源于scala圣经级教程《Functional Programming in Scala》,虽然原书的随书代码可以找到这些类的影子,但却没有关于如何使用这些类的示例代码,本人在阅读此书期间,除了跟着书中的代码敲了一遍之外,还写了一些测试代码进行验证,贴出来作为blog主要是为了方便自己,也为那些同样在阅读此书的人参考, 因为或许有可能你看了书本也不知道如何使用这些现成的函数和库。...

2018-07-17 19:17:10 256

原创 Monad在Scala中的应用笔记

这个例子来源于scala圣经级教程《Functional Programming in Scala》,虽然原书的随书代码可以找到这些类的影子,但却没有关于如何使用这些类的示例代码,本人在阅读此书期间,除了跟着书中的代码敲了一遍之外,还写了一些测试代码进行验证,贴出来作为blog主要是为了方便自己,也为那些同样在阅读此书的人参考。注释不多,本人也不可能写太多,因为这本书不是简单的入门书,而是...

2018-07-16 15:56:22 678

原创 Monoid在Scala中的应用笔记

这个例子来源于scala圣经级教程《Functional Programming in Scala》,虽然原书的随书代码可以找到这些类的影子,但却没有关于如何使用这些类的示例代码,本人在阅读此书期间,除了跟着书中的代码敲了一遍之外,还写了一些测试代码进行验证,贴出来作为blog主要是为了方便自己,也为那些同样在阅读此书的人参考。注释不多,本人也不可能写太多,因为这本书不是简单的入门书,而是...

2018-07-14 22:17:25 993

原创 使用Scala从头实现一个简单的语法分析器组合字库

这个例子来源于scala圣经级教程《Functional Programming in Scala》,虽然原书的随书代码可以找到这些类的影子,但却没有关于如何使用这些类的示例代码,本人在阅读此书期间, ,除了跟着书中的代码敲了一遍之外,还写了一些测试代码进行验证,贴出来作为blog主要是为了方便自己,也为那些同样在阅读此书的人参考。注释不多,本人也不可能写太多,因为这本书不是简单的入门书,...

2018-07-13 16:05:04 458

原创 使用Scala实现一个基于性质的测试库

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧……package testingimport laziness.Streamimport state._impo...

2018-07-11 13:45:21 137

原创 使用Scala实现一个并发库(NonBlocking版本)

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧……> 注:本文是上一篇文章《使用Scala实现一个并发库(阻塞版本, 下一篇文章提供NonBlocking版本)》的延续...

2018-07-09 15:17:39 140

原创 使用Scala实现一个并发库(阻塞版本, 下一篇文章提供NonBlocking版本)

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧……> 注:这个并发库使用的线程池如果只有唯一一条工作线程的话,会导致线程阻塞,可以参考main方法中的示例,阻塞原因与代...

2018-07-07 17:42:10 157

原创 使用Scala对带状态函数或API进行抽象的示例(State)

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧……package stateimport RNG.Simpleimport state.State._case cla...

2018-07-06 18:05:05 271

原创 用Scala实现一个纯函数风格的引用透明的伪随机数生成器

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧……package statetrait RNG { def nextInt: (Int, RNG)}obje...

2018-07-05 19:13:57 256

原创 用Scala实现Stream(一个惰性的链表)数据结构

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己得意,如果看不懂,但是又感兴趣的就去看原书吧……package lazinesstrait Stream[+A] { import laziness.Stream...

2018-07-04 14:48:48 533

原创 使用Scala实现Either数据结构

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧。package errorhandling//hide std library `Either`, since we are writing...

2018-07-03 20:06:58 203

原创 使用Scala实现Option数据结构

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧。package errorhandling//hide std library `Option`, since we are writing...

2018-07-03 19:58:28 279

原创 使用Scala实现链表(List)数据结构

这个例子来源于scala圣经级教程《Functional Programming in Scala》,由于本人跟着书中的代码敲了一遍,然后写了点测试代码验证了一下正确性,所以就放在这做个备忘吧。贴出来只是为了方便自己,如果看不懂,但是又感兴趣的就去看原书吧。package fpinscala.datastructuressealed trait List[+A]case object Nil...

2018-07-03 19:48:47 1174 2

原创 POM中引入CXF后maven-shade-plugin打包示例

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m

2018-06-26 09:45:18 500

转载 AXIS2跳过HTTPS证书验证的几种方式

声明:本文转载自:AXIS2跳过HTTPS证书验证的几种方式为了避免丢失,Copy原文如下:AXIS2跳过HTTPS证书验证的几种方式Posted on 2016/03/24 by neohopeAXIS2启用HTTPS,只需要设置truststore及密码,然后对于HTTPS协议,就会自动启用SSL通信了。System.setProperty("javax.net.ssl.trustSt...

2018-06-26 09:32:19 2822

原创 Cxf和Axis使用https进行通信的笔记示例

1. cxf使用https进行通信1.1动态生成ws代理的工具类如下:import org.apache.cxf.configuration.jsse.TLSClientParameters;import org.apache.cxf.endpoint.Client;import org.apache.cxf.frontend.ClientProxy;import org.apache.cx...

2018-06-26 09:19:52 177

原创 同时使用java和scala语言的maven项目pom文件示例

主要就是在pom.xml中添加scala的三个依赖包和maven-scala插件,配置如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in...

2018-06-24 16:56:57 2124

转载 Java Thread.interrupt 复习

本文转载自:Java Thread.interrupt[点击打开链接], 文章写的太好,怕丢了,所以原文也一并拷贝过来。下面这个场景你可能很熟悉,我们调用Thread.sleep(),condition.await(),但是IDE提示我们有未捕获的InterruptedException。什么是InterruptedException呢?我们又应该怎么处理呢?大部分人的回答是,吞掉这个异常就好啦。...

2018-06-20 09:13:44 70

原创 一种重置生产者消费者模式的消费队列的线程安全的做法(java)

/* * @author lihong * @date 2016年1月1日 下午5:20:02 * @version v1.0 */package com.lihong.DDPush;import java.util.LinkedList;import java.util.List;import java.util.concurrent.atomic.AtomicReferenc...

2018-04-05 14:16:17 158

原创 netty-Netty中pipeline设计模式的一个高仿示例

下属是一个Netty中pipeline设计模式的高仿示例。下述代码中:Channel对应netty中的AbstractChannel, AbstractContext对应netty中的 AbstractChannelHandlerContext , Inhander对应netty中的ChannelInboundHandler,OutHandler对应netty中的ChannelOutboun...

2018-03-20 20:28:06 1153

原创 一个日志记录工具类

LogUtil:import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;public class LogUtil { private static Log internalLog = LogFactory.getLog(LogUtil.class.getName());...

2018-02-12 14:53:44 721

原创 centos7搭建spark集群环境笔记

安装spark(集群环境, 貌似spark的master节点必须与hadoop的master节点一致)cd /softtar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/cd /usr/local/spark-2.2.1-bin-hadoop2.7环...

2018-02-12 14:08:02 702

转载 一个读取文件内容的shell脚本

如下展示的是一个shell脚本,该脚本可以2行2行的读取文件中的内容,然后把读取到的文件内容保存到一个名为target.json的文件当中,然后打印出target.json中的内容,打印完毕删除target.json文件,然后再新建target.json文件,然后再读入两行内容,然后再打印,再删除,直到源文件被读完。贴到博客的目的是做个笔记,毕竟本人没有专门学个shell编程,这些脚本中的某些语法

2018-01-23 12:13:54 13334

原创 java连接Hbase 1.4.0集群进行增删改查示例

1.本示例的项目结构如下图所示:2.示例中的配置文件hbase-site.xml,只需将Hbase集群中的同名配置文件拷贝进来即可,该配置文件内容如下:<!--/** * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreement

2018-01-11 20:26:03 3750

原创 idea中字体颜色设置成类似eclipse的方案

由于本人一开始使用的是eclipse,转为idea后为了习惯这个新的编辑器,所以将其字体颜色设置的与eclipse类似,以便感觉是在使用eclipse,后来就习惯这个风格了,现在做一下笔记,顺便分享给有需要的人:设置idea中文件状态颜色路径是: Preferences -> Editor -> Color & Fonts -> File Statusidea编辑器中颜色配置,效果类似ec

2018-01-11 15:55:00 10208 3

原创 hadoop 2.7.4 下运行WordCount例子笔记

1.源码如下:package com.mapred.core;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import o

2018-01-11 11:25:33 1013

原创 使用intellij idea 15.0.6工具创建可执行 JAR

第一步:选中项目,点击 File ->  Project structure  ->  artifacts ,然后在弹出的面板的中间点击绿色+号按钮,选择 JAR  -> from modules with dependencies。至此,弹出下图所示界面:第二步:如上图所示,填写Main class的值为带有main方法的那个启动类的完整类名。                 选

2018-01-11 10:59:22 252

转载 java操作hadoop hdfs,实现文件上传下载demo

本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等,并实际的做了一下验证。代码与引用的文章差别不大,现列出来作为备忘。import java.io.*;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSD

2018-01-10 17:21:56 7179

提示
确定要删除当前文章?
取消 删除