超人汪小建(seaboat)-CSDN博客

原创从 JDK 源码角度看 Java 并发的公平性

Java为简化开发者开发提供了很多并发的工具，包括各种同步器，有了JDK我们只要学会简单使用类API即可。但这并不意味着不需要探索其具体的实现机制，本文从...

2017-04-13 19:45:55 147

原创机器学习之朴素贝叶斯分类

朴素贝叶斯分类所有贝叶斯分类都是基于贝叶斯定理，朴素贝叶斯分类是贝叶斯分类中运用广泛简单的一种，另外，它还基于特征条件独立假设。贝叶斯定理贝叶斯定理是计算条件概率的公式，条件概率即是事件B发生的前提下事件A发生的概率，记作$P(A|B)$，叫做事件B发生的情况下A的条件概率。公式为：$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$公式大致推导：如图，有$P(A|B) = \f

2017-04-11 19:59:32 2836

原创如何设计一个数据库中间件

欢迎关注===========================================================公众号原创有最少字数的限制，纯贴ppt不让发...

2017-04-04 19:21:19 157

朴素想法用户输入一个查询query，query由若干词（term）组成，文档也由若干词（term）组成。那么怎么评判查询和文档的相关性的高低。很朴素简单的想法就是文档中包含的term与查询query中包含的term，两者越多相同的则说明越相关。比如query为”animal cat”，文档一内容为”cat dog bird animal”，文档二内容为”cat dog bird tiger”，则认为

2017-04-01 19:47:11 4065

原创开源一个简易轻量的reactor网络框架

githubhttps://github.com/sea-boat/net-reactornet-reactorit’s a simple and easy net framework with nio mode written by javareactor modelhow-tojust simply like:public class MyHandler implements Handler {

2017-03-30 08:48:54 3685 1

原创机器学习之梯度下降法

方向导数如图，对于函数f(x,y)，函数的增量与pp’两点距离之比在p’沿l趋于p时，则为函数在点p沿l方向的方向导数。记为$\frac{\partial f}{\partial l} = \lim_{\rho \rightarrow 0} \frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho } $，其中$\rho=\sqrt{(\Delta x)^{2} + (

2017-03-26 20:40:40 1874

转载《奇点临近》奇点和纪元

思想的力量，一个人拥有独立的思想是多么的重要。奇点奇点是未来的某个技术变革节奏相当快的时期，人类的生活将不可避免地因此发生变化，它所带来影响是如此的深远...

2017-03-23 19:14:49 249

原创《奇点临近》奇点和六大纪元

“我认为没有任何一种对人类心灵的冲击能够比得上一位发明家亲眼看到自己的脑力创作变成现实” ———尼古拉·特斯拉思想的力量，一个人拥有独立的思想是多么的重要。奇点奇点是未来的某个技术变革节奏相当快的时期，人类的生活将不可避免地因此发生变化，它所带来影响是如此的深远。它将人类信仰转变为声明能理解的意义，将事物模式本身转变为人类生命的循环。奇点思维下会对过去发生的事情的重要性重新审

2017-03-23 18:45:19 2369

原创机器学习的监督学习在研究什么

什么是监督学习简单来说，监督学习是对给定的输入输出样本进行学习并建立一个模型，该模型能对任意输入做出好的输出预测。监督学习核心思想所有可能的模型函数的集合称为假设空间，$H=\left \{ f|Y=f(X) \right \}$。对于所有的模型函数集合，可能不知道是该用用逻辑回归模型、或贝叶斯模型、或神经网络模型还是用支持向量机模型。这个过程通常是一个不断迭代的过程，只有在不断地尝试比较才

2017-03-17 20:05:08 3162

原创设计一个智能客服系统

背景：最近在设计一个公司的智能客服系统，通过对现有人工客服语料作为样本，通过训练样本完成整个QA过程或业务办理过程。整体思路AliceBot负责闲聊，这里用了开源的语料，也可以添加语料到DB，基于AIML。AbilityBot主要负责公司业务上的咨询和办理，它提供了不同的能力接口，供外系统交互。predict模块用于预测响应。train模块用于训练客服对话样本。语音转换由第三方语音识别服务

2017-03-14 17:55:37 21421 1

原创机器学习之层次聚类

层次聚类聚类是将样本进行归类形成K个簇，层次聚类是其中的一种方法。它将数据组成一棵聚类树，过程可以是凝聚形式或分裂形式。核心思想凝聚是一开始将每个样本当做一个聚类，接着通过计算将距离最近的两个聚类合并，成为新聚类，每次合并聚类总数减少一个，不断循环合并操作，直到所有聚类合并成一个聚类或当聚类数量到达某预定值或当聚类直接距离达到某阀值后停止合并。而分裂则与凝聚相反，一开始将所有样本当做一个聚类，每次分

2017-03-12 20:12:15 2625

原创 k-means聚类算法

聚类聚类主要内容是将样本进行归类，同种类别的样本放到一起，所有样本最终会形成K个簇，它属于无监督学习。核心思想根据给定的K值和K个初始质心将样本中每个点都分到距离最近的类簇中，当所有点分配完后根据每个类簇的所有点重新计算质心，一般是通过平均值计算，然后再将每个点分到距离最近的新类簇中，不断循环此操作，直到质心不再变化或达到一定的迭代次数。数学上可以证明k-means是收敛的。伪代码随机选择k个质

2017-03-07 22:01:44 4504

原创线性回归之最小二乘法

线性回归线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。最小二乘法线性回归过程主要解决的就是如何通过样本来获取最佳的拟合线。最常用的方法便是最小二乘法，它是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。代数推导：假设拟合直线为y=ax+by=ax+b对任意样本点(xi,yi)(x_i,y_i)误差为e=yi−(axi+b)e=y_i-(ax_i+

2017-03-03 10:51:51 24714 2

原创使用哈希算法将字符串映射到数组中

需求将不同字符串映射到对应数组，数组不够时自动成倍扩容，比如有一个数组String[4]，现在准备将不同的string映射到String[4]上，str5时会自动扩容并重新打散。str1-->String[3]str2-->String[0]str3-->String[2]str4-->String[1]方案先使用哈希运算，比如用murmurhash3_x86_32算法得到一个32位的值a。

2017-02-23 19:19:13 3826

原创 tomcat如何共享多个web应用会话

问题今天有位朋友问了个问题，大致是：tomcat下两个Java web，一个是商城，一个是直播，从商城登录后，再跳转到直播，发现处于非登录状态。解决思路将session抽出来成一个session服务，统一通过该服务操作session。tomcat内部用会话管理器获取会话时遍历所有context内的会话。方案1重写获取session方法即可。方案2找了源码发现已经支持类似遍历所有context内

2017-02-22 08:14:29 7033 8

原创从JDK源码看Java并发特性

索引下前面写的篇关于从JDK源码看Java并发特性的文章文章列表从JDK源码角度看java并发的原子性如何保证从JDK源码角度看java并发的公平性从JDK源码角度看java并发线程的中断从JDK源码角度看并发竞争的超时从JDK源码角度看并发锁的优化从JDK源码角度看线程的阻塞和唤醒从JDK源码角度看线程池原理

2017-02-19 20:58:12 1381

原创 btrace定位生产故障

现象某些请求通过数据访问层很慢并导致处理线程阻塞，从监控中未能检查到异常。编写btrace脚本@BTracepublic class DBProxyTrace { @OnMethod(clazz = "xxx.xxx.QueryHandler", method = "query", location = @Location(Kind.RETURN)) publ

2017-02-13 07:51:34 1963

原创 mysql 协议的server状态标识

githttps://github.com/sea-boat/mysql-protocol概况server状态标识。更多详情： https://dev.mysql.com/doc/internals/en/status-flags.htmlServerStatus类package com.seaboat.mysql.protocol.constant;/** * * <pre><b>serv

2017-02-11 11:05:37 2106

原创 mysql通信协议

索引下前面写的19篇关于mysql协议的文章文章列表 mysql 协议的服务端握手包及对其解析 mysql 协议的认证包及解析 mysql 协议的OK包及解析 mysql 协议的错误包及解析 mysql 协议的退出命令包及解析 mysql 协议的ping命令包及解析 mysql 协议的初始化DB命令包及解析 mysql 协议的EOF包及解析 mysql 协议的

2017-02-06 22:10:14 4371 2

原创 ant编译tomcat

安装jdk，用jdk6即可，如果要编译JSR-356 (Java WebSocket 1.1)则需要jdk7.安装ant，Ant 1.8.2或更新版本。连到apache的svn上下载自己想要的版本，比如这里使用TOMCAT_7_0_73。Tomcat目录下新建build.properties文件,可以以build.properties.default文件作为模板修改，比如可以修改base.pa

2017-02-06 15:55:43 1954

原创 mysql 协议的ResultsetRow包及解析

githttps://github.com/sea-boat/mysql-protocol概况ResultsetRow包属于服务端返回ResultSet时的其中一部分包，用于描述结果集的行记录。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的

2017-02-03 09:03:51 3041

原创 mysql 协议的ColumnDefinition包及解析

githttps://github.com/sea-boat/mysql-protocol概况ColumnDefinition包属于服务端返回ResultSet时的其中一部分包，用于描述结果集的字段信息。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和

2017-02-02 22:07:27 2352 1

原创 mysql 协议的ColumnCount包及解析

githttps://github.com/sea-boat/mysql-protocol概况ColumnCount包属于服务端返回ResultSet时的其中一部分包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 i

2017-02-01 09:24:19 1741 1

原创 mysql 协议的statistics命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端通过statistics命令查询服务端内部统计。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1>

2017-01-31 10:53:32 1994

原创 mysql 协议的processInfo命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端通过processInfo命令查询服务端活跃进程。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1

2017-01-30 09:13:58 1543

原创 mysql 协议的FieldList命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况当mysql客户端使用show column命令时即对应这个FieldList命令包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报

2017-01-27 13:22:06 4222 2

原创 mysql 协议的query包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端可以用query包向服务端发送一个基于文本查询。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1>

2017-01-24 21:09:05 2288

原创 mysql 协议的process kill包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端可以用process kill命令让服务端终止某个连接，正常会返回ok包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合

2017-01-23 14:44:34 1695 1

原创 grafana elasticsearch date类型问题

大致的数据格式{ "createTime": 1484967199, "ip": "localhost", "appId": "10000", "threadName": "Thread-acceptor-1", "level": "info", "type": "error", "tag": "tag1", "module": "m

2017-01-22 07:08:13 8281 1

原创 mysql 协议的删除DB命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端通过删除DB命令包告诉服务端删除某个schema。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1

2017-01-21 09:40:25 1681

原创 mysql 协议的shutdown命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端可以用shutdown命令来关闭服务端。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1> 序

2017-01-20 08:49:20 2161

原创 mysql 协议的创建DB命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端通过创建DB命令包告诉服务端创建某个schema。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1

2017-01-19 08:51:40 2093

原创 mysql 协议的EOF包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql的EOF包用于标明查询结果的结尾。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 int<1> 序列号

2017-01-18 08:35:46 3341 1

原创 mysql 协议的初始化DB命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql连接如果想要改变该连接默认的schema，则客户端可以向服务端发送初始化DB命令包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号

2017-01-16 17:34:02 2644

原创 mysql 协议的ping命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端可以用ping命令来检查服务端的状态，正常会返回ok包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合成报文头 in

2017-01-13 07:03:51 4885

原创 mysql 协议的退出命令包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端连接上mysql服务端后，当需要退出断开连接时则向服务端发送退出命令。服务端可以直接关闭连接或返回OK包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的pa

2017-01-12 09:05:19 2037

原创 mysql 协议的OK包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端与mysql服务端交互过程中，当服务端完成客户端的某命令时则会返回OK包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组合

2017-01-10 09:44:29 5727

原创 mysql 协议的认证包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端登陆到mysql服务端需要一个交互的过程，首先服务端给客户端发送的初始握手包，客户端接收到握手包后向服务端返回认证包。如下，这里分析下认证包。client server |-------connect------>| |

2017-01-09 09:24:31 3659

原创 mysql 协议的错误包及解析

githttps://github.com/sea-boat/mysql-protocol概况mysql客户端与mysql服务端交互过程中，如果服务端遇到错误需要告知客户端则返回错误包。mysql通信报文结构类型名字描述 int<3> payload长度按照the least significant byte first存储，3个字节的payload和1个字节的序列号组

2017-01-08 10:16:04 2237

原创 mysql 协议的服务端握手包及对其解析

概况mysql客户端登陆到mysql服务端需要一个交互的过程，这里先看服务端给客户端发送的初始握手包。如下，client通过socket连接到server指定的端口后，server将往client发送初始握手包。服务端会根据不同的服务版本和不同的配置返回不同的初始化握手包。client server |------connect---- >| |

2017-01-06 20:07:22 6616