- 博客(56)
- 资源 (31)
- 收藏
- 关注
原创 Netty学习(三)- Unsafe
目录1.概览1.1 介绍2. 分析2.1 Unsafe接口2.2 Unsafe接口实现类2.2.1 AbstractUnsafe2.2.2 AbstractEpollUnsafe2.2.3EpollServerSocketUnsafe1.概览1.1 介绍官方解释Unsafeoperations that shouldneverbe c...
2019-06-15 18:02:58
611
原创 Netty学习(二)- EventLoop
目录1.概览1.1 EventLoop接口1.1.1 EventLoop类图1.2 EventLoop接口实现类1.2.1 SingleThreadEventLoop1.概览1.1 EventLoop接口1.1.1 EventLoop类图EventLoop类图1.2 EventLoop接口实现类通过继承关系图可以看出,EventLoop接口有Abs...
2019-06-15 18:02:39
757
转载 Scala范型
转自:http://www.cnblogs.com/czh-liyu/p/4694395.html899100101102103104package com.parllay.scala.type_parameterizitor /*** Created by richard on 15-7-30.* 第46讲: ClassTag 、Manifest、ClasMainife
2017-04-29 11:53:55
358
转载 Scala范型
package myscala.scalaexercises.classtagimport org.apache.hadoop.mapred.InputFormatimport org.apache.spark.rdd.RDDimport scala.reflect.ClassTag/** * A `ClassTag[T]` stores the erased class of a g
2017-04-29 11:52:32
455
原创 Scala下划线作用
1、作为“通配符”,类似Java中的*。如import scala.math._2、:_*作为一个整体,告诉编译器你希望将某个参数当作参数序列处理!例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数,并乘以2,可以用以下办法:a.filter(_%2==0).map(2*_)。又
2017-04-29 10:43:03
409
原创 Oozie安装
安装Oozie的过程真的是一把血泪史,太TM反人类了,过程无比艰辛,感觉和Tez的安装一样,过程繁杂且问题频出。环境:CentOS6.5 * 3ZooKeeper 3.4.5-cdh5.7.1Hadoop 2.6.0-cdh5.7.1Oozie oozie-4.1.0-cdh5.7.11.下载oozie-4.1.0-cdh5.7.1.tar.gz这个包非常大,有
2017-04-07 01:01:12
1183
1
转载 mysql悲观锁总结和实践
最近学习了一下数据库的悲观锁和乐观锁,根据自己的理解和网上参考资料总结如下: 悲观锁介绍(百科):悲观锁,正如其名,它指的是对数据被外界(包括本系统当前的其他事务,以及来自外部系统的事务处理)修改持保守态度,因此,在整个数据处理过程中,将数据处于锁定状态。悲观锁的实现,往往依靠数据库提供的锁机制(也只有数据库层提供的锁机制才能真正保证数据访问的排他性,否则,即使在本系统中实
2017-03-18 23:15:20
260
转载 mysql乐观锁总结和实践
上一篇文章《MySQL悲观锁总结和实践》谈到了MySQL悲观锁,但是悲观锁并不是适用于任何场景,它也有它存在的一些不足,因为悲观锁大多数情况下依靠数据库的锁机制实现,以保证操作最大程度的独占性。如果加锁的时间过长,其他用户长时间无法访问,影响了程序的并发访问性,同时这样对数据库性能开销影响也很大,特别是对长事务而言,这样的开销往往无法承受。所以与悲观锁相对的,我们有了乐观锁,具体参见下面介绍:
2017-03-18 23:13:41
253
原创 HBase源码走读-(1)HMaster启动过程
前记断断续续使用HBase有2,3年的时间了,由于都是工作驱动,需要用到的时候才重新拿起来,过段时间又忘了差不多了,连最基本的只是还需要度娘和谷歌,感觉挺失败的,和当初希望成为大数据方面的专家背道而驰,越走越远。正好刚离职,有这个闲工夫,想了下还是需要有东西沉淀下来,不然对知识掌握上使用游击战是不行的,还是需要系统的整理这些知识点,一来可以查缺补漏,二来可以将脑中的知识片段捋一捋,更深刻,
2017-02-26 20:11:33
1572
转载 常见查找算法Java实现
转自http://yintech.iteye.com/blog/424997线性查找法public class LSearch{ public static int[] Data = { 12, 76, 29, 22, 15, 62, 29, 58, 35, 67, 58, 33, 28, 89, 90, 28, 64, 48, 20, 77 }; // 输入数据数组 pu
2015-03-19 23:09:29
682
转载 各种排序算法的分析及java实现
转自http://www.cnblogs.com/liuling/p/2013-7-24-01.html排序一直以来都是让我很头疼的事,以前上《数据结构》打酱油去了,整个学期下来才勉强能写出个冒泡排序。由于下半年要准备工作了,也知道排序算法的重要性(据说是面试必问的知识点),所以又花了点时间重新研究了一下。 排序大的分类可以分为两种:内排序和外排序。在排序过程中,全部
2015-03-18 22:32:40
552
原创 MapReduce两个数据源关联
平时开发的时候会遇到很多需要将HDFS上多个数据源的某个字段做为关联字段,得出多个数据源的笛卡儿积。了解了MapReduce多数据源关联的基本思路后就很简单。基本思路:在Map输入阶段获取输入路径,在Map输出阶段根据路径的不同加以区分,即在将关联的列作为Key,在Value中加以区分是哪个数据源的数据,接着在Reduce的输入阶段,在reduce方法的入参会得到所有Key相同的集合,这样便可
2015-03-07 12:25:42
2678
原创 MapReduce跑数导入HBase
日常开发中可能会碰到需要编写MapReduce从HDFS上读取数据,然后导入HBase。一般会使用到两种方式,下面分别介绍下。第一种方式:指定OutputFormatClass为TableOutputFormat,构造Put对象,然后设置到OutputValueClass去。 Configuration conf = ConfSource.getHBaseConf();
2015-03-07 11:53:13
763
转载 十道海量数据处理面试题
转自 http://www.tuicool.com/articles/6FJfAr第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法, 比如模1000,把整个大文件映射为1000个小文件,再找出每
2015-03-07 11:29:15
327
转载 多线程面试题
转自http://blog.csdn.net/dongwujing/article/details/76478580.Java 中多线程同步是什么? 在多线程程序下,同步能控制对共享资源的访问。如果没有同步,当一个 Java 线程在修改一个共享变量时,另外一个线程正在使用或者更新同一个变量,这样容易导致程序出现错误的结果。 1.解释实现多线程的几种方法?
2015-03-04 10:46:43
327
转载 JDK5.0中JVM堆模型、GC垃圾收集详细解析
转自http://blog.csdn.net/jollyant/article/details/5647141前段时间在一个项目的性能测试中又发生了一次OOM(Out of swap sapce),情形和以前网店版的那次差不多,比上次更奇怪的是,此次搞了几天之后啥都没调整系统就自动好了,死活没法再重现之前的OOM了!问题虽然蹊 跷,但也趁此机会再次对JVM堆模型、GC垃圾算法等进行了一
2015-03-04 10:19:20
510
转载 详解Java GC的工作原理+Minor GC、FullGC
JVM内存管理和JVM垃圾回收JVM内存组成结构JVM内存结构由堆、栈、本地方法栈、方法区等部分组成,结构图如下所示:1)堆所有通过new创建的对象的内存都在堆中分配,其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代,新生代又被进一步划分为Eden和Survivor区,最后Survivor由FromSpace和ToSpace组
2015-03-04 09:59:55
827
转载 JVM面试题
出处:http://www.blogjava.net/BlueDavy/archive/2009/03/27/262419.html JVM是Java程序的运行环境,因此对于JVM的掌握有助于理解Java程序的执行以及编写,尤其是运行时碰到的一些诡异问题,那么怎么样能考察自己对于JVM关键知识点的掌握情况,帮助学习JVM机制呢,在这篇blog中来探讨下。对于Java程序而言,J
2015-03-04 09:56:02
978
转载 JVM优化
转自http://www.jfox.info/JVM-you-hua-wen-tiJVM堆内存分为2块:Permanent Space 和 Heap Space。 Permanent 即 持久代(Permanent Generation),主要存放的是Java类定义信息,与垃圾收集器要收集的Java对象关系不大。 Heap = { Old + NEW = {Eden
2015-03-04 00:33:51
400
原创 JVM中OOM和SOF的产生
学习《深入理解Java虚拟机 JVM高级特性域最佳实践》,学习到了JVM中常见的OutOfMemory和StackOverFlow产生的机理,感觉非常有用。1.平时代码运行时遇到这两种错误后就可以根据具体情况去适时地调整JVM参数来处理问题2.平时写代码的时候也会多加注意,不要让代码产生这两种异常下面就记录下,当作学习笔记。首先必须了解JVM运行时数据区域方法区 用
2015-03-04 00:09:34
5753
原创 Eclipse使用Jad查看class文件
1.下载jad.exe2.下载net.sf.jadclipse_*.jar,即jad的eclipse插件,需要注意对应eclipse的版本号,jar需要和eclipse对应的版本号。将改jar包放入{ECLIPSE_HOME}/plugins目录下,重启Eclipse3.eclipse Jad路径设置。Window->Preferences->Java->JadEclipse。"Path
2015-02-07 17:14:05
1293
原创 CentOS下Nexus安装
项目需要上传第三方jar包,非得使用Nexus私服不可,于是开始搭建Nexus私服。搭建过程并不顺利,公司使用的是一台PC作为Nexus服务器,操作系统是CentOS。目前还是有问题,不能从中央仓库下载jar,在网上搜索了很久,下载一个几百兆的索引文件和一个nexus-maven-repository-index.properties文件放到sonatype-work/nexus/indexer/
2014-12-12 22:43:14
528
转载 Redis安装配置
转自 1 概要Redis服务器环境的安装。指导系统部署和维护使用,以64位Linux环境下安装使用2 缩略语和术语缩略语/术语全 称说 明append only file(aof)全持久化模式 Redis解压目录
2014-11-15 08:56:56
658
转载 linux环境变量设置
方法一: 在/etc/profile文件中添加变量【对所有用户生效(永久的)】 用VI在文件/etc/profile文件中增加变量,该变量将会对Linux下所有用户有效,并且是“永久的”。 要让刚才的修改马上生效,需要执行以下代码 # source /etc/profile 方法二: 在用户目录下的.bash_profile文件中增加变量【对单一用户生效
2014-10-23 20:22:50
422
转载 JAR打包命令详解
转自转自:Matrix-与Java共舞 常常在网上看到有人询问:如何把 java 程序编译成 .exe 文件。通常回答只有两种,一种是说,制作一个可执行的 JAR 文件包,就可以像.chm 文档一样双击运行了;而另一种回答,则是使用 JET 来进行编译。但是 JET 是要用钱买的,而且,据说 JET 也不是能把所有的 Java 程序都编译成执行文件,性能也要打些折扣。所以,使用制作可执行
2014-10-23 09:37:59
395
原创 RMI学习笔记
RMI(Remote Method Invocation,远程方法调用)是用Java在JDK1.1中实现的,它大大增强了Java开发分布式应用的能力。Java作为一种风靡一时的网络开发语言,其巨大的威力就体现在它强大的开发分布式网络应用的能力上,而RMI就是开发百分之百纯Java的网络分布式应用系统的核心解决方案之一。其实它可以被看作是RPC的Java版本。但是传统RPC并不能很好地应用于分布式对
2014-10-08 23:13:19
394
转载 Java 中InputStream与Reader的区别
java.io下面有两个抽象类:InputStream和ReaderInputStream是表示字节输入流的所有类的超类Reader是用于读取字符流的抽象类InputStream提供的是字节流的读取,而非文本读取,这是和Reader类的根本区别。即用Reader读取出来的是char数组或者String ,使用InputStream读取出来的是byte数组。弄清了两个超类的根本区
2014-10-04 14:17:28
444
转载 InitializingBean的作用
最近工作需要得到sping中的每个事物需要执行的sql,称机会简单研究了一下spring的事务,项目中管理事务比较简单,用TransactionTemplate,就直接以TransactionTemplate为入口开始学习。TransactionTemplate的源码如下:public class TransactionTemplate extends DefaultTransaction
2014-07-05 10:56:44
42234
11
转载 java泛型
转自 http://www.cnblogs.com/panjun-Donet/archive/2008/09/27/1300609.html
2014-06-06 22:29:04
399
转载 Eclipse快捷方式
Eclipse本身很快的,但是加上了myeclipse后,就狂占内存,而且速度狂慢,那如何让Eclipse拖着myeclipse狂飚呢?这里提供一个:技巧:取消自动validation validation有一堆,什么xml、jsp、jsf、js等等,我们没有必要全部都去自动校验一下,只是需要的时候才会手工校验一下,速度立马提升好几个档次! 取消方法: windows-->perf
2014-05-17 20:44:39
386
原创 Tomcat内存配置
1.设置内存大小1)在catalina.bat配置(注意配置在最开始的地方)set JAVA_OPTS='-Xms256m -Xmx512m'2)在catalina.sh配置JAVA_OPTS='-Xms256m -Xmx512m'3)在eclipse配置-Xms256m -Xmx512m -XX:PermSize=512m -XX:MaxPermSize=512m
2014-05-10 21:23:55
460
原创 Tomcat源码学习
一、1.StringManager.java类中用到了jdk的类ResourceBundle。这个类的作用是国际化,使用方法ResourceBundle bundle = new ResourceBundle(baseName);bundle.getString("key");其中baseName就是包的路径下的properties文件,例如com.maclaren.bun
2014-05-10 21:20:50
488
原创 MapReduce编程
运行mapreduce方式:1.在eclipse运行2.在命令行下mkdir firstDirjavac -classpath ~/hadoop/hadoop-0.20.2-core.jar -d firstDir WordCount.javajar -cvf WordCount.jar -C firstDir/sh hadoop dfs -mkdir inputsh
2014-05-10 21:11:54
472
原创 Hadoop开发
命令行下-conf用于指定配置文件例如hadoop fs -conf conf/hadoop-cluster.xml -ls1.hadoop自带工具支持-conf选项2.直接在程序中实现Tool接口支持-conf选项Tool接口只有一个抽象方法run(),而Tool接口又继承Configurable接口,Configurable接口有setConf()抽象方法和一个抽象
2014-05-10 21:00:31
547
原创 Lucence学习笔记
《Lucence in Action》学习笔记1.索引和搜索创建索引public class Indexer { if (args.length != 2) { throw new Exception("Usage: java " + Indexer) }}===============================2B的分割线===========
2014-05-10 12:13:14
579
struts2源码
2014-05-07
window builder 插件
2013-12-25
fiddler2和.netframework2安装包集合
2013-10-27
twitter flight
2013-03-11
cmemcache-0.95.tar
2013-01-18
memcached-1.4.15.tar
2013-01-18
The Definitive Guide to Django 2nd Edition
2013-01-05
jquery.validate.js jquery.metadata.js jquery.autocomplete.js jquery&UI; chm文档合集
2012-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人