_thinkCode-CSDN博客

原创 mit 6.824 mapreduce

最近忙着工作上的事，看书看论文的时间也少了，周五啦放松下，把最近做的分布式课程梳理下。之前一直在做麻省理工大学的分布式课程mit 6.824 虽然一直做，但也只是做了个lab1中的前两个part关于map reduce ，论文太多了。 https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=0ahUKEwiZ7q

2016-07-24 08:45:36 1872

原创使用flume,伪分布式集群配置

伪分布式搭建flume主要有0.9和1.6两个版本，这里使用0.9版本1.下载flume-0.9.4-cdh4.1.52.解压后进入到项目目录3.执行bin/flume master,查看master可用http://host:35871/4.另启一个终端执行bin/flume node，查看agent可用http://master:35862/5.在http://host:35871/上，

2016-07-24 08:44:25 2060

原创高并发下接口的并发问题

事故前些天上线的扫码送会员活动。场景：用户登录账号之后，扫二维码，送七天黄金会员，限制每个帐号只能领取一个有恶意用户刷接口，在高并发下越过限制。原因领取会员流程： 1.后端先生成卡卷，将卡号放到消息队列中 2.用户扫码请求领取会员接口 2-1).先检查用户是否已经领取过该活动会员 2-2).领取过return “该帐号已领取”的标示

2016-07-24 08:42:10 11440 1

原创 tcp详解学习笔记-tcp建立终止

tcp建立连接三次握手初始化连接、数据传输、关闭连接tcp建立连接三次握手一般是由一端打开一个套接字，然后监听另一方的连接，服务器被动打开，客户端主动打开链接1.客户端发送一个syn来创建主动打开，指明客户端需要创建链接的端口和时间序列号报文包 2.服务端回复客户端初始的syn和ack，ack为客户端传说的syn包的时间序列号＋1 3.最后客户端再发一个ack包，服务端接收到链接进入已创建状态t

2016-04-09 16:04:22 526

tcp端口tcp中的端口，一直以为tcp的端口是个类似的实体的东西，类似于存储数据的数据包的队列那种，所以一个server的端口只能处理一个链接，当server开启listen端口后，服务器接受到链接请求，server会分配一个随机的没有用到的端口给tcp链接。但是这是错的！tcp使用本地地址和远端地址组成的4元组（目的ip，目的端口，本地ip，本地端口）来处理多个链接请求。这个端口在tcp内核中紧

2016-04-09 16:03:12 1754

原创 effective java读书笔记-静态工厂

静态工厂方法 static method factory静态工厂是effective java 中的第一节，本文大部分内容是从上面摘抄的。 static method factory 译为静态工厂模式，指的是类可以提供一个静态工厂方法，一个返回类的实例的静态方法。public static final Boolean FALSE = new Boolean(false);public stati

2016-04-09 16:00:23 415

原创 dapper 的学习

dapper 大规模分布式跟踪系统在分布式系统中，一次请求会跨越几个甚至几十个子系统所以我们很难统计出每个系统之间的耗时问题。所以google研发出dapper ， twitter基于dapper研发出zipkin这些大规模耗时跟踪系统。dapper 如何跟踪系统之间的耗时下图是分布式系统中最普遍的一次请求，用户发起request请求，A服务接收到，使用rpc调用下面的子系统。最终形成一颗调

2016-04-09 15:58:20 3713

原创 scala 学习－准备环境

Mac Linux 下安装scala1.下载scala从这里下载最新版本scala ,http://www.scala-lang.org/download/2.安装scala移动安装包到 /usr/local/修改环境变量，sudo su进入root权限 vim /etc/profile在文件末尾添加export PATH="$PATH:/usr/local/scala-2.11.7/bin

2016-03-13 00:07:58 435

原创 machine learning - apriori

简介用户一次购买的过程其实包含了许多机器学习的应用，包括物品的展示方式、购物后优惠卷的提供等等。通过查看哪些商品经常在一起被购买，帮助了解用户的购买行为，这种从大规模数据集中寻找物品间的隐含关系被称作关联分析或者关联规则学习。而apriori就是对其思想的算法实现。关联分析一种在大规模数据中寻找物品关系的过程步骤：根据支持度找出所有的频繁项集依据置信度产生强关联规则关联规则：暗示物品之间可能

2016-03-12 09:17:17 544

原创第一篇博客 hexo学习笔记

为什么用hexo以前都是直接在csdn上写博客，一直也是断断续续的。后来自己买了个阿里云一直想搞个自己的博客，但懒的弄前端.就一直没搞＝＝现在看大神们博客都是这种样式，才知道用的都是hexo生成的不得不说真的很好用，哼哼hexo git 安装hexo git 的安装指南google一下有很多，这里不再陈述了，介绍一个比较靠谱的阅读原文－http://wsgzao.github.io/

2016-03-06 18:50:43 2117

原创 mac上idea的bug，new project 的时候一定要让idea自己去新建路径！！

mac上idea的bugnew project 的时候一定要让idea自己去新建路径！！new project 的时候一定要让idea自己去新建路径！！new project 的时候一定要让idea自己去新建路径！！不然git和idea集成会有问题，不能使用idea的git进行操作

2016-02-17 16:15:12 952

转载关于jdbc 源码解析 DriverManager 和 ServiceLoader

前言这篇文章不是专门讲ServiceLoader的用法，这篇文章也不仅是讲DriverManager的用法。他们两个一个是java.util包里面的类，另外一个在jdbc里面应用的很多。从表面上看起来他们之间似乎没有多少的联系。实际上DriverManager对ServiceLoader的使用可以达到一种巧妙的效果。在这里我想探讨一下DriverManager使用到的一种设计思路以及对

2014-05-14 21:57:59 1020 1

转载关于jdbc的源码解析 DriverManager 和 Driver的加载

注: 本系列文章使用JDK1.5 数据库驱动版本 mysql-connector-java-5.1.8b 上一篇中分析了Class.forName(“com.mysql.jdbc.Driver”)幕后所做的事情，也就是在Driver实现类中的静态块和构造函数，本篇主要来分析一下静态块的一句代码：DriverManager.registerDriver方法和其它相关的调用。 reg

2014-05-14 21:56:14 2643

转载（转载）AtomicInteger和Unsafe分析

在阅读AtomicInteger的源码时，看到了这个类：sum.msic.Unsafe，之前从没见过。所以花了点时间google了一下。 Unsafe的源码：http://www.docjar.com/html/api/sun/misc/Unsafe.java.html Unsafe源码中的描述如下：写道A collection of methods for per

2014-04-25 11:45:25 731

原创 DWR框架，异步访问后台javaBean

前几天一直在学习Prototype框架，作为一个小巧的

2014-04-12 16:42:21 599

转载 hibernate 多对一关系映射

实体是Employee和Department，它们之间是多对一的关系。Department类：Java代码 public class Department { private int id; private String name; public Department() { } public Departme

2014-03-22 11:08:11 532

转载 hibernate 配置文件关系参数

“assigned” 主键由外部程序负责生成，在 save() 之前指定一个。 “hilo” 通过hi/lo 算法实现的主键生成机制，需要额外的数据库表或字段提供高位值来源。 “seqhilo” 与hilo 类似，通过hi/lo 算法实现的主键生成机制，需要数据库中的 Sequen

2014-03-21 21:30:47 598

原创解读jeebbs(1)部署

jeebbs是jeecms公司开源的论坛项目，首先将工程部署到myeclipse中在官网上下载jeebbs-3-beta 安装包（安装包中没有源码，只有classes文件）jeebbs-3-beta-src 源码包（源码包中只有java源码）在myeclipse中新建项目jeebbs将jeebbs-3-beta-src 源码包中的文件全部复制到src下再将je

2014-02-22 12:12:39 1051

转载 Maven4MyEclipse是什么？

Maven4MyEclipse是什么？ Maven4MyEclipse是myeclipse8.5自带的一个插件，用于辅助项目的构建，测试，打包等工作。哪些项目支持Maven4MyEclipse？ Maven4MyEclipse必须首先是个myeclipse项目。Myeclipse中 MyEclipse Web Projects, MyEclipse EJB Projects,以及Ja

2014-02-17 23:14:08 860

转载 Eclipse,myeclipse安装配置Maven

Eclipse,myeclipse安装配置Maven本文转载自http://www.cnblogs.com/timeng/archive/2013/05/07/maven_install.htmlmyeclipse自带了maven插件，但是和原生插件还是有点不一样，本文介绍Maven的安装和配置，同样适用于eclipse。1.首先需要安装jdk,myeclipse（废话！

2014-02-17 22:38:26 548

原创 Jquery Ajax 异步访问后台(解决url乱码)

Jquery之前没怎么尝试过，这次来试下/** * 页面装载完成时的方法 */$(document).ready(function() { alert("finish"); // Jquery 先通过$找到某个元素,然后添加事件 $("#velidateButton").click(function() { var userName = $("#userName").val()

2014-01-27 23:11:34 1707

原创解析java.util集合类源码(Queue)

Queue接口在Collection接口下，并行于List、Map等接口queue队列接口除了继承自Collection的方法，还封装队列的基本操作boolean add(E e)将指定的元素插入此队列（如果立即可行且不会违反容量限制），在成功时返回true，如果当前没有可用的空间，则抛出IllegalStateExceptionboolean offer(E e)

2014-01-23 11:15:53 720

原创解析java.util集合类源码(AbstractSequentialList)

抽象类AbstractSequentialListAbstractSequentialList继承AbstractList，对其中的方法进行再抽象，不同于动态数组列表ArrayList先看一下整体结构AbstractSequentialList在功能上，最大限度地减少了实现受“连续访问”数据存储（如链接列表）支持的此接口所需的工作。对于随机访问数据（如数组），应该优先使用 Abst

2014-01-23 09:39:07 772

原创解析java.util集合类源码(ArrayList)

ArrayList 类List接口下的实现类，代表长度可以改变的数组，可以对元素进行随机的访问，向ArrayList()中插入与删除元素的速度慢底层实现是数组，其实就是对数组封装了一些操作，当然这些操作符合List规范，线性方式存储元素，并且元素可以重复从结构上看ArrayList类，继承了AbstractList抽象类，实现List、RandomAccess、Cloneable

2014-01-21 22:14:30 650

原创解析java.util集合类源码(SubList)

SubList类在1.6和1.7的api中没有给出SubList的说明，只有subList方法，返回一个List列表的子类列表public ListE> subList(int fromIndex,int toIndex)但在jdk的源码中，你可以搜到SubList，它在AbstractList类下，却不是内部类先看下SubList的结构SubList继承Abs

2014-01-21 10:43:53 2893

原创解析java.util集合类源码(AbstractList内部类ListIterator和Itr)

在AbstractList中用主要用Iterator和ListIterator来对列表进行遍历，但在AbstractList也没有声明一个Iterator对象，而是用一个内部类来实现这个功能。首先在AbstractList中，有两个返回迭代器的方法public ListIterator listIterator()public Iterator iterator()在ite

2014-01-20 11:33:52 1136

原创解析java.util集合类源码(List和AbstractList篇)

接口List有序的 collection（也称为序列），作为Collection的子接口，继承了所有Collection中的方法，同时对集合进行限制1.允许集合中的元素重复2.提供了特殊的迭代器，成为ListIterator，该迭代器实现了一些元素的插入和替换3.提供搜索元素和插入、删除等方法在Collection中接口有的方法不在描述请查看上篇博客点击打开链接bo

2014-01-19 14:10:50 1346

原创解析java.util集合类源码(Collection和AbstractCollection篇)

本篇为对java.util包下的集合知识总结，从jdk中Collection接口到ArrayList实体类从结构上来看接口CollectionCollection是所有集合类的最上层接口，继承了Iterable接口便于迭代，接口中定义了许多方法都是集合的添加，删除，包含元素，清空，添加集合等等一些对集合的操作，抽象了几乎所有集合需要用到的方法，细节在实现类和抽象类详

2014-01-17 12:18:48 1118

转载 RandomAccess接口

RandomAccess在类Collections的shuffle()方法中的使用:(jdk源码如下) /** * Randomly permute the specified list using the specified source of * randomness. All permutations occur with equal li

2014-01-15 15:17:06 615 1

原创 java 中浅克隆与深克隆

在java的Object 类中有Clone方法，用来对对象进行克隆，但要用clone方法，必须将类先实现Cloneable接口java中的克隆分为浅克隆和深克隆代码为例public class Dog implements Cloneable { public String name; public Head head; public int id; public Do

2014-01-15 15:07:42 464

原创 Object 和 String 的equals比较

先看一段String 和一个普通类的equals方法的比较/** * Object 中的equlas的使用 * @author dell * */public class TestEquals { public static void main(String [] args){ /** ===============

2013-12-29 13:58:30 619

转载 String的 == 和 equals方法的比较

equals方法和==的区别首先大家知道，String既可以作为一个对象来使用，又可以作为一个基本类型来使用。这里指的作为一个基本类型来使用只是指使用方法上的，比如String s = "Hello"，它的使用方法如同基本类型int一样，比如int i = 1;，而作为一个对象来使用，则是指通过new关键字来创建一个新对象，比如String s = new String("Hello")。

2013-12-29 11:06:03 536

whx750702272的专栏