小树叶子-CSDN博客

原创 TCP连接过程解析

讲解传统Socket在建立连接时发生了什么，connectionTimeout/soTimeout的区别，为什么先建立连接后传输数据，关闭连接时发生了什么，time_wait及解决办法，及一些其他的socket参数和选项

2017-04-07 18:23:15 1317

原创最终一致性Quorum及其在Zookeeper和Kafka中的演变

讲解Quorum的概念，及在zookeeper中使用的Quorum变种ZAB协议、zookeeper的选举机制，及Kafka的最终一致性及概述

2017-04-07 17:42:56 1662

原创表设计优化（MySQL作为报表数据库）

表设计优化（MySQL作为报表数据库）目前虽然有较多的大数据处理框架，但也有其局限性，其功能往往无法和传统DB媲美。使用传统DB，可以利用简单的SQL语句获得结果，利用包括索引和表关联等成熟技术获得报表，可大大提高效率。在此提出一些在表设计时可考虑的优化方法。 1、选择紧凑的数据类型。例如对于日期时间，使用timestamp表示只需4个字节，可保存到2038年；使用Unix tim

2017-03-16 12:16:19 5196

原创安装go nodejs docker

安装golang：[wsc@host2 ~]$ wget https://storage.googleapis.com/golang/go1.6.2.linux-386.tar.gz --no-check-certificate[wsc@host2 ~]$ sudo tar -C /usr/local/ -zxf go1.6.2.linux-386.tar.gz[wsc@hos

2016-08-22 15:49:16 492

原创 Redis cluster：redis集群架构说明

参考文档如下：http://redis.io/topics/cluster-spec 1、扩展性、增删节点影响 1000节点内线性扩展，最多16384节点，因为slot格式固定为16384个。HASH_SLOT =CRC16(key) mod 16384。每个节点和其他所有节点建立tcp长连接，用于节点间消息通信

2016-08-04 17:47:24 607

原创安装kafka rest proxy - 使得我们能通过http访问kafka

安装kafka rest proxy - 使得我们能通过http访问kafka，这对于那些没用对应kafka客户端的语言尤其有用，比如php。The Kafka REST Proxy provides a RESTful interface to a Kafka cluster. It makes it easy to produce and consume messages, v

2016-05-12 18:22:01 17298

原创安装spark - standalone模式

假设我们使用三台机器安装spark，分别是host1、host2、host3. 其中，host2作为主节点。安装步骤如下。1、下载、解压安装文件wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz （下载安装文件）tar zxf spark-1.6.1-bin-hadoop2.6.tg

2016-05-03 11:17:04 543

原创安装storm及相关命令

说明Strom版本: 0.9.5每台机器上都有$STORM_HOME指向其安装目录。storm的安装是从官网下载后直接解压即可。1、配置文件1.1 $STORM_HOME/conf/storm.yaml中加入或修改如下内容：nimbus.host: "主节点hostname或ip"nimbus.thrift.port: 8627nimb

2016-04-26 08:56:05 673

原创安装kafka及相关命令

Kafka版本： 2.10 0.8.2.11、安装说明kafka下载后直接解压即可，是免安装的。kafka没有主节点一说，各个节点都是平等的。使用相同的zookeeper注册中心的kafka节点，可视为是同一个集群。安装目录变量$KAFKA_HOME，例如：/urs/local/kafka2、配置说明配置文件位置：$KAFKA_HOME/conf

2016-04-25 14:55:00 557

原创安装GIT服务器 gitolite，及权限管理

安装参考：http://zengrong.net/post/1720.htmhttp://blog.chinaunix.net/uid-15174104-id-3843570.htmlgit使用参考： Git的思想和基本工作原理 http://www.nowamagic.net/academy/detail/48160210 Git 教程

2016-04-25 14:23:38 571

原创安装MongoDB-单击版、复制集、密码认证、安装MongoDB分片shard

本文记录安装MongoDB的过程，包括『单击版、复制集、密码认证、分片』等情况。1、安装MongoDB单机版下载安装文件，解压后即可。在安装目录下执行如下命令即可启动：（在前台启动，按ctrl c即停止服务，退出进程）：./bin/mongod --dbpath ./data/（在后台启动，按ctrl c或用户退出系统后不会退出进程，不会停止服务：nohup ./b

2016-04-24 20:17:10 1515

原创安装elasticsearch及中文分词器、客户端连接示例

本文记录了linux下如何安装elasticsearch及分词器，以及如何通过『spring-data-elasticsearch』连接服务器，并进行索引、搜索。1、下载elasticsearch我这里下载的是『elasticsearch-2.2.0.tar.gz』，下载地址如下：https://www.elastic.co/downloads/elasticsearch

2016-04-24 19:18:05 1552

两种方式，可以实现linux的“tail -f”命令。1、FileInputStream在读取文件内容的时候，其他外部工具（如记事本、notepad++等）可以同时进行写入，且写入内容能继续读取到。因此，利用该接口，或经封装后的BufferedReader等接口，即可实现。该代码中，利用FileInputStream的skip方法，可以跳过文件的部分内容，实现tail命令的读取最后几行的功能。利用while(true)循环，实现tail命令的-f功能，读取后续写入的内容。该代码中，没有判断文件被清

2016-04-20 09:46:49 10616

小树叶子