王帆的专栏

转载 java8 lambda表达式

http://blog.csdn.net/renfufei/article/details/24600507

转载 红黑树

http://www.cnblogs.com/fornever/archive/2011/12/02/2270692.html

原创 磁盘管理

原创 文件管理

索引文件：索引顺序文件：类式于分块查找

原创 存储管理

相关概念：一、连续分配连续分配是指为一个用户程序分配一个连续的内存空间。二、非连续分配非连续分配允许一个程序分散地装入到不相邻的内存分区中1、基本分页把内存空间划分为大小相等且固定的块，称为页框；每个进程划分为大小相等的块，称为页。每个页通过页表对应一个页框从逻辑地址到物理地址的转换如下：(1)计算页号P=A/L和页内偏移量W=A%L（L表示页大

原创 进程管理

一、进程与线程进程和线程的相互比较：(1)调度：进程是资源拥有的基本单位，线程是独立调度的基本单位(CPU执行的基本单位)(2)并发性：进程跟线程都可以并发(3)地址空间：进程的地址空间是相互独立的，同一进程的各个线程之间共享进程的资源(4)通信方面：进程间通信需要进程同步和互斥手段的辅助，而线程之间可以直接读写进程数据段(如全局变量)来进行通信二、处理机调度

原创 享元模式

原理：     运用共享技术有效地支持大量细粒度的对象。不使用享元模式： class Game //游戏 { private string name = ""; public Game(string name) { this.name = name; } publi

原创 观察者模式(又叫发布-订阅模式)

原理：        定义对象间的一种一对多依赖关系，使得每当一个对象(通知者)状态发生改变时，其相关依赖对象(观察者)皆得到通知并被自动更新 //通知者接口 interface Subject { void Attach(Observer observer); void Detach(Observer observer);

原创 适配器模式

原理：把一个类的接口转换成客户端期望的另一种接口，从而使原本因接口不匹配而无法一起工作类能一起工作。适配器类可以根据所传递的参数返回给一个合适的实例给客户端。     abstract class Player //篮球运动员 { protected string name; public Player(string nam

原创 面向对象五大基本原则

一、单一职责原则一个类应该仅有一个引起它变化的原因(最简单，最容易理解却最不容易做到的一个设计原则)职员类例子：比如在职员类里，将工程师、销售人员、销售经理这些情况都放在职员类里考虑，其结果将会非常混乱，在这个假设下，职员类里的每个方法都要if else判断是哪种情况，从类结构上来说将会十分臃肿，并且上述三种的职员类型，不论哪一种发生需求变化，都会改变职员类！这个是大家所不愿意看到的！

原创 一个例子穿插三种不同的工厂模式形态

1、简单工厂模式工厂类根据提供给它的参数，返回的是几个产品中的一个类的实例。通常情况下，它返回的是一个公共的父类，在这个工厂类里面，父类的引用指向子类的对象厂长生产杯子时先不让生产线知道我要产的是玻璃的还是瓷的，而是让它在不知道具体材料的情况下先做它能做的，等到它把模具做好，只需要向其中填充玻璃原料或者瓷原料就可以造出同一形状的具体杯子了。所以就有了简单工厂模式。 class

原创 单例模式

public class Singleton //三步走 {     private static Singleton instance = null;//第一步：定义私有静态属性     private Singleton() {    //第二步：构造函数私有化     }     public static Singleton GetInstan

原创 基本类型、字符串该注意的地方

1、不同数据类型之间的转换有哪些规则(1)类型自动转换：低等数据类型可以自动转换为高等数据类型，需要注意以下几点               char类型的数据转换为高等类型(int,long等)，会转换为其对应的ASCII码       byte、char、short类型的数据在参与运算时会自动转换为int型，但当使用"+="运算时，就不会产生类型的转换       基本数据类型

原创 几个关键字

1、final、finally、finalize的区别final:用于声明属性、方法和类，表示属性不可变(引用的不变性)、方法不可覆盖(不允许任何子类重写这个方法)、类不可以被继承finally：是异常处理的一部分，最终会执行，经常用在需要释放资源的情况下finalize：是Object类的一个方法，在垃圾回收器执行时会调用被回收对象的finalize()方法，可以覆盖此方法来实现对其

原创 java反射机制

http://blog.csdn.net/liujiahan629629/article/details/18013523

原创 java内存模型

Java内存模型的主要目标是定义程序中各个变量的访问规则，保证线程能够并发高效执行，即在虚拟机中将变量存储到内存和从内存中取出变量这样底层细节。此处的变量与Java编程时所说的变量不一样，指包括了实例字段、静态字段和构成数组对象的元素，但是不包括局部变量与方法参数，后者是线程私有的，不会被共享。1.所有的变量都存储在主内存中2.每个线程都还有自己的工作内存，拥有主内存的对象的拷

原创 java垃圾收集器与内存分配策略

https://segmentfault.com/a/1190000003018384

原创 Java内存区域与内存溢出异常

1、程序计数器：Program Counter Register是一块较小的内存空间，它的作用可以看做是当前线程所执行的字节码的行号指示器。 每个线程都有一个独立的程序计数器，各个线程之间计数器互不影响，独立存储。此内存区域是唯一一个在Java虚拟机规范中没有规定任何OutOfMemoryError情况的区域。2、Java虚拟机栈：也是线程私有的，它的生命周期与

原创 spark调度管理

一、调度相关基本概念Task（任务）：单个分区数据集上的最小处理流程单元。TaskSet（任务集）：由一组关联的，但互相之间没有Shuffle依赖关系的任务所组成的任务集。Stage（调度阶段）：一个任务集对应的调度阶段。Job（作业）：由一个RDD Action生成的一个或多个调度阶段所组成的一次计算作业。Application（应用程序）：Spa

原创 scala中的Trait

http://www.imobilebbs.com/wordpress/archives/4940http://www.imobilebbs.com/wordpress/archives/4951

原创 scala中的上界、下界、协变和逆变

class Pet(val name:String){override def toString()=name}class Dog(override val name:String) extends Pet(name)def workwithPets(pets:Array[Pet]){}val dogs=Array(new Dog("Rover"),new Dog("C

原创 scala中的option[T]、Any、Nothing、Null和Nil

1、option[T]option[T]主要是用来避免NullPointerException异常的(Option本身是一个容器)// Java 里 HashMap 的 get() 方法，如果找不到对应的 key 值，就会反回 null：HashMap myMap = new HashMap();myMap.put("key1", "value1");String value1 =

原创 scala函数

//函数基本定义  /* object Test{     def main(args: Array[String])     {         println("Return Value: "+addInt(3,8));     }     def addInt(a:Int,b:Int):Int={         return a+b;     } }

原创 scala类和对象

//类和对象  /* 1.scala中的类不声明为public(缺省为public) 2.一个scala源文件中可以有多个类 3.scala不允许类保护静态元素，类似的功能是成为"单例对象"的对象 4.单例对象使用object关键字,单例对象叫做这个对象的伴生对象，相应的类叫做伴生类 5.伴生类和伴生对象要放在同一文件中，可以互相访问对方的私有成员 6.scala使用类

原创 Scala简介及该注意的基本小知识点

一、Scala简介及其特点Scala是一门混合了函数式和面向对象的语言，拥有以下特征：        1、拥有基于事件的并发模型2、既支持命令式、也支持函数式3、纯面向对象(所有类型都是对象)4、可以很好的与Java结合5、强制使用自适应静态类型二、注意的基本知识点1、var和val不变性指的是变量本身，而不是变量所引用的实例。比如：val buffer

原创 java异常

一、异常继承结构Error错误，一般指虚拟机相关的问题，如系统崩溃、虚拟机出错误等，应用程序无法处理这些错误一般说的异常处理指的是Exception二、使用finally回收资源除非在try块、catch块中调用了退出虚拟机的方法(System.exit(1))，否则不管在try块、catch块中执行怎样的代码，出现怎样的情况，异常处理的finally总会被执行

原创 面向对象

一、对象、引用二、this     表示当前对象，this默认引用的两个位置1、构造器中引用，初始化对象2、方法中引用，调用该方法的对象三、Java里面的方法传递机制        全部都是值传递：对于基础类型，传递其值；对于引用类型，传递一个引用（地址）四、方法重载  函数名相同，参数列表不同五、成员变量和局部变量

原创 scala学习

1、学习网址：     http://www.runoob.com/scala/scala-iterators.html     http://blog.csdn.net/mapdigit/article/details/218780832、代码整理     //变量/*var myVar:String="Foo"var myVar=Foo""val myVal:String

原创 集合

一、set和listHashSet添加可变对象造成无法准确访问的例子：public class TestHashSet { public static class R { private int count; public R(int count) { this.count=count; } public String toString() {

原创 equals()和hashCode()的区别

1、为什么要重载equal方法？     答案：因为Object的equal方法默认是两个对象的引用的比较，意思就是指向同一内存,地址则相等，否则不相等(跟==是一个意思)；如果你现在需要利用对象里面的值来判断是否相等，则重载equal方法。       特别注意：String重写了equals方法，是按照其字符串的值来比较的2、 为什么重载hashCode方法？   

原创 linux shell

http://c.biancheng.net/cpp/view/6994.html

原创 电信运营商流量经营系统(数据模块

一、项目的核心模块(数据处理流程图)            二、相关代码1、建立规则数据库(TopN)public class TopkURLMapper extends Mapper { private FlowBean bean = new FlowBean(); private Text k = new Text(); @Override protected vo

原创 storm与kafka结合

一、kafka基本概念      1、kafka是一个分布式的消息缓存系统      2、kafka集群中的服务器都叫做broker      3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接      4、kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消

原创 linux命令安装

http://blog.csdn.net/bluesnail216/article/details/46775377

原创 两个例子(来自Storm实战 构建大数据实时计算)

例子一：模拟网站计算用户PV(页面浏览量)        拓扑图如下：            1、编写Topologypublic class TopoMain { public static void main(String[] args) throws AlreadyAliveException, InvalidTopologyException { TopologyB

原创 storm安装、运行

环境：centos6.4软件：jzmq-master-----java与c++通讯的桥梁，有了它，就可以使用zeromp了(提供了接口，把数据放入到zeromq中)storm-0.8.2zeromq-2.1.7-----号称史上最牛逼的消息队列（用c++写的）zookeeper-3.4.51.编译安装ZMQ：tar -xzf zeromq-2.1.7.t

原创 多线程

一、进程、线程的区别1、进程          进程是运行中的程序，是系统进行资源分配和调度的基本单位。          它有以下几个特征：         独立性：具有私有的地址空间         动态性：活动的指令集合，而程序是静态的         并发性：多个进程跑在单个处理器上2、线程           一个进程中包含了多个顺序执行流，每个顺序执行流

原创 五、DRPC

1、为什么有DRPC？         Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。   DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语spout，bolt， topology而成

原创 四、事务拓扑(Transactional Topolgoy)

1、问题的提出    怎样做到每个出错的tuple只被处理一次？这样才能统计所有发射出的tuple的数量。2、简介Storm 0.7.0引入了Transactional Topology, 它可以保证每个tuple”被且仅被处理一次”, 这样你就可以实现一种非常准确，非常可扩展，并且高度容错方式来实现计数类应用。跟DRPC类似， transactional topolo

原创 三、消息的可靠处理

1、消息被完全处理的含义当树创建完毕，并且树中的每一个消息都已经被处理时，Storm认为来自Spout的元组是“完全处理”的。当一个元组的消息树在指定的超时范围内不能被完全处理，则元组被认为是失败的。2、如果一个消息被完全处理或完全处理失败会发生什么首先，让我们看看Spout的元组的生命周期。ISpout接口的定义如下：public interface ISpo