追寻北极-CSDN博客

转载深入理解HBase Memstore

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase

2017-05-09 20:42:18 605

转载大数据性能调优之HBase的RowKey设计

1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Rowke

2017-05-09 20:38:54 627

转载一个英文字母，一个中文各占多少字节?

(1)、英文和数字占一个字节(2)、中文占一个字符，也就是两个字节(3)、字符不等于字节。字符（char）是 Java 中的一种基本数据类型，由 2 个字节组成，范围从 0 开始，到 2^16-1。字节是一种数据量的单位，一个字节等于 8 位。所有的数据所占空间都可以用字节数来衡量。例如一个字符占 2 个字节，一个 int 占 4 个字节，一个 double 占 8 个字节等等。

2017-05-09 20:37:08 45510

转载【mongoDB高级篇①】聚集运算之group,aggregate

group语法db.collection.group({ key:{field:1},//按什么字段进行分组 initial:{count:0},//进行分组前变量初始化,该处声明的变量可以在以下回调函数中作为result的属性使用 cond:{},//类似mysql中的having,分组后的查询返回 reduce: function ( curr, result ) { },

2017-04-13 17:24:46 908

Supervisor（http://supervisord.org/）是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进程死后，会自动将它重新拉起，很方便的做到进程自动恢复的功能，

2017-04-11 11:03:09 597

转载使用Fabric部署网站应用

以前一直用rsync同步代码到服务器，这种山寨方法用一次两次还可，每天部署10次就麻烦了，最近抽空研究了一下Fabric，发现这个东西部署起来简直太爽了。Fabric是一个用Python开发的部署工具，最大特点是不用登录远程服务器，在本地运行远程命令，几行Python脚本就可以轻松部署。花10分钟写了一个部署脚本fabfile.py（名字不能变），放到工程目录下：#!/usr/

2017-04-11 10:03:15 1012

转载 virtualenv

在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？这种情况下，每个应用可能需要各自拥有一套“独

2017-04-10 21:30:15 616

转载 gevent：轻松异步 I/O

介绍gevent是一个使用完全同步编程模型的可扩展的异步I/O框架。让我们先来看一些示例，这里有一个 echo 服务器：from gevent.server import StreamServerdef connection_handler(socket, address): for l in socket.makefile('r'): socket

2017-04-10 21:16:32 2740

转载 Apache的三种MPM模式比较：prefork，worker，event

就最新版本的Web服务器Apache（版本是Apache 2.4.10，发布于2014年7月21日）来说，一共有三种稳定的MPM（Multi-Processing Module，多进程处理模块）模式。它们分别是prefork，worker和event，它们同时也代表这Apache的演变和发展。查看我们Apache的模式，可以使用httpd -V命令来查看：

2017-04-10 20:52:24 7754

转载 python web 部署：nginx + gunicorn + supervisor + flask 部署笔记

python web 部署web开发中，各种语言争奇斗艳，web的部署方面，却没有太多的方式。简单而已，大概都是 nginx 做前端代理，中间 webservice 调用程序脚本。大概方式：nginx + webservice + scriptnginx 不用多说，一个高性能的web服务器。通常用来在前端做反向代理服务器。所谓正向与反向（reverse），只是英文说法翻译。代理

2017-04-10 20:31:19 724

转载 MySQL备份与恢复

1.采用复制表文件的方式进行备份，常用到的工具有：mysqldumpmysqldump [arguments] > filename创建备份：查看备份信息：恢复：MySQL 此外，mysqldump可以通过参数选择备份的信息，例如：--no-create-info：没有建表信息；--no-data：没有数据信息；等等。2.采用增量备份方式增量备份

2017-02-04 18:02:33 440

转载结合源码分析show engine innodb status输出内容(一)

show engine innodb status输出内容包括以下几块(我所有试验都是在mysql5.6.22上实现)background threadsemphoreslatest detected deadlock(该部分内容不一定输出，只有在系统出现过死锁情况下才输出)latest foreign key error(该部分内容不一定输出，只有在系统出现过外键错误情况下才输出)t

2017-02-04 17:58:57 1157

转载 OkHttp使用教程

这是一个针对技术开发者的一个应用，你可以在掘金上获取最新最优质的技术干货，不仅仅是Android知识、前端、后端以至于产品和设计都有涉猎，想成为全栈工程师的朋友不要错过！Android系统提供了两种HTTP通信类，HttpURLConnection和HttpClient。关于HttpURLConnection和HttpClient的选择>>官方博客尽管Google在大部分安卓版本中

2017-01-25 18:15:02 1514 1

转载 RabbitMQ和kafka从几个角度简单的对比

业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。1)在架

2017-01-25 16:42:46 453

转载 rabbitmq 和 kafka 简单的性能测试

测试环境：ubuntu 15.10 64位cpu:inter core i7-4790 3.60GHZ * 8内存:16GB硬盘:ssd 120GB软件环境：rabbmitmq 3.6.0 kafka0.8.1 (均为单机本机运行) PS: 测试结果均为单操作测试，即生产的时候没有消费操作测试结果：kafka :消费速度: 3

2017-01-25 16:39:34 2128

原创 rabitmqa和kafka

==比较==：持久性 zeroMq不支持，activeMq和rabbitMq都支持技术点：可靠性、灵活的路由、集群、事务、高可用的队列、消息排序、problem tracker、可视化管理工具、插件系统、社区 RabbitMq最好，ActiveMq次之，ZeroMq最差。当然ZeroMq也可以做到，不过自己必须手动写代码实现，代码量不小。++可靠性中的：持久性、投递确认、发布者证实和高可用

2017-01-25 16:35:17 776

转载 Haproxy+Keepalived高可用双机单活

我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过服务器资源

2017-01-25 16:29:38 1807

转载 keepalived实现redis主从高可用

方案说明两台机器（称为A和B），以统一的VIP对外提供服务 1.正常情况下，A和B都启动，B会把A的数据同步过来（B is slave of A） 2.当A挂了后，VIP漂移到B；B的keepalived 通知redis 执行：slaveof no one，由B提供服务 3.当A起来后，VIP不切换，仍在B上面；而A的keepalived 通知redis 执行slaveof

2017-01-25 16:16:17 372

转载 keepalived+twemproxy部署redis集群高可用

转载:http://bylijinnan.iteye.com/blog/2175191架构图机器说明 Java代码 10.75.201.67：keepalived + twemproxy 10.75.201.66：keepalived + twemproxy 初始化时，VIP绑定在10.75.201.67 10.

2017-01-25 16:15:25 751

转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍

redis是一个著名的key-value存储系统，而作为其官方推荐的java版客户端jedis也非常强大和稳定，支持事务、管道及有jedis自身实现的分布式。在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比：一、普通同步方式最简单和基础的调用方式， @Test public void test1Normal() { Jedi

2017-01-25 15:37:56 296

转载 jedis源码中ShardedJedis实现sharding

1、一个JedisShardInfo类，里面包含了jedis服务器的一些信息，比如[java] view plain copyprivate int timeout; private String host; private int port; private String password = null

2017-01-24 15:49:49 931

转载分析Redis架构设计

一、前言因为近期项目中开始使用Redis，为了更好的理解Redis并应用在适合的业务场景，需要对Redis设计与实现深入的理解。我分析流程是按照从main进入，逐步深入分析Redis的启动流程。同时根据Redis初始化的流程，理解Redis各个模块的功能及原理。二、redis启动流程1.初始化server变量，设置redis相关的默认

2017-01-24 14:39:58 286

转载 Web App 和 Native App，哪个是趋势？

作者：苏杰链接：https://www.zhihu.com/question/19558750/answer/36615530来源：知乎著作权归作者所有，转载请联系作者获得授权。前两天刚好和一帮产品同学聊过，特指一个APP里面的各页面应该怎么做，大家的总结如下，原理一样，关键是了解Native和Web各自的优劣势：1. 偏交互的Native，偏浏览的Web：交互指复

2017-01-22 18:26:40 3859 1

转载 WebAPP与原生APP的交互设计区别

WebAPP和原生APP同为移动端，很少有研究这两项的交互区别，最近公司做了一次从原生APP到WebAPP（HTML5 ）的移植，故总结一下期间遇到的问题及不同点总结。从使用场景上，WebAPP用户面临比原生APP用户更严峻的问题：1、页面跳转更加费力，不稳定感更强思考点：如何减少跳转（扁平结构、页面布局技巧），增加数据及展示的流畅流程及稳定性（技术）2

2017-01-22 18:23:04 903

转载你自认为了解微信小程序？醒醒吧！

小程序目前被炒得沸沸扬扬，无数业内业外人士都对此雄心勃勃，希望占据先机，借此一统江湖，千秋万代。这再次证明一点，微信想让什么火，什么就能火。这种能力目前在国内估计也是无人能出其右了……好了，废话不多话，言归正传。作为一个要成为成功人士的男人，利用国庆的时间，我好好的研究了一下微信小程序，发现网上很多言论对于微信小程序的言论，在一定区间存在理解上的误区。接下来的内容，我假定你已经初步的了

2017-01-22 18:19:14 1576

转载从程序员的角度分析微信小程序

从程序员的角度分析微信小程序我赶快在书架上拿出三年前买的书，把上面的土擦干净，压压惊。作为一个并不是资深的程序员。从程序员的角度分析一下微信小程序，欢迎指点。首先吐槽微信小程序只发了200个邀请号，和我预想的一样，张小龙并没有翻我牌，难道就不能雨露均沾吗？先来了解下什么是微信小程序。转自知乎微信也许重

2017-01-22 18:13:46 576

转载华为正在力挺的NB-IoT是什么鬼！

[导读] 万物互联是大趋势，是发展的必然，各种物联网技术也是梭镖林立。而现在，华为正在力挺的NA-IOT是什么东西，往文章下看！NB-IoT，Niubility Internet of Thing，即牛掰的物联网技术。　　关于物联网，小编想从2款很有趣的应用说起。　　这不是在播限制级。这是Nake Labs推出的3D健身镜，这款智能通过3D扫描全身来跟踪您的体型

2016-12-16 14:51:38 1011

转载 netty同时做HTTP和websocket服务器并且实现HTTP路由的思路

近期需要给别人做一个HTTP加Websocket的处理后端，果断选了spring+netty的组合，spring提供IOC容器+AOP+事务，netty处理IO，但是netty提供的HTTP比较底层，还需要自己处理路由，，，还是比Servlet麻烦不少，于是陆续将自己学习和编码过程中一些东西写出来，希望能帮的到别人。用的是netty5学习netty用到的资源官网的API文档《n

2016-12-12 19:04:44 5536

转载 netty对http协议解析原理解析

本文主要介绍netty对http协议解析原理，着重讲解keep-alive，gzip，truncked等机制，详细描述了netty如何实现对http解析的高性能。1 http协议1.1 描述标示ASCII描述字符CR 13Carriage return (回车) \n

2016-12-12 19:01:14 1483

转载 Apache Apollo配置文件解析(mqtt)

Apache Apollo是一个代理服务器，主要用于消息的请求转发，下面是其常用的一些配置文件的介绍一、users.properties：用来配置可以使用服务器的用户以及相应的密码。其在文件中的存储方式是：用户名=密码，如：lily=123456表示新增一个用户，用户名是：lily，密码是：123456二、groups.properties：持有

2016-12-06 10:37:36 3704

转载 MQTT介绍

MQTT，是：轻量级的消息订阅和发布（publish/subscribe）协议建立在TCP/IP协议之上IoT，internet of things，物联网，MQTT在这方面应用较多。官方网站：http://mqtt.org/MQTT协议是针对如下情况设计的：M2M（Machine to Machine） communication，机器端到端通信，

2016-12-06 10:36:58 8580

转载 netty 对象序列化传输示例

package object.server.impl;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelInitializer;import io.netty.channel.ChannelOption;

2016-12-01 18:05:58 1091

转载 ChannelHandler的用法

综述ChannelHandler处理一个I/O event或者拦截一个I/O操作，在它的ChannelPipeline中将其递交给相邻的下一个handler。通过继承ChannelHandlerAdapter来代替因为这个接口有许多的方法需要实现，你或许希望通过继承ChannelHandlerAdapter来代替。context对象一个ChannelHandler和一个Chan

2016-12-01 18:04:41 5466

转载 Netty LengthFieldBasedFrameDecoder

先看看LengthFieldBasedFrameDecoder的官方API http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下：

2016-12-01 17:53:54 993

转载基于netty的网络聊天室(一)——基础框架搭建

最近在学习Netty框架，使用的学习教材是李林锋著的《Netty权威指南》。国内关于netty的书籍几乎没有，这本书算是比较好的入门资源了。我始终觉得，学习一个新的框架，除了研究框架的源代码之外，还应该使用该框架开发一个实际的小应用。为此，我选择Netty作为通信框架，开发一个模仿QQ的聊天室。基本框架是这样设计的，使用Netty作为通信网关，使用JavaFX开发客户端界面，使用Sprin

2016-12-01 17:45:42 2290

转载基于netty的网络聊天室(二)——心跳检测及断线重连

前面介绍了Netty服务端客户端基本通信框架的搭建过程。下面将介绍Netty如何进行心跳检测以及处理客户端的断线重连。为了适应恶劣的网络环境，比如网络超时、闪断，客户端进程僵死，需要机制来保证双方的通信能正常工作或者自动恢复。对于服务端来说，当客户端由于某些原因导致无法与服务端通信的，服务端需要主动注销与客户端的连接，减少无效链接的资源消耗。对于客户端来说，当服务进程宕机后进行重启，客户端应该

2016-12-01 17:06:59 1332

转载 MessageToMessageDecoder netty自定义协议

public class BizDecoder extends MessageToMessageDecoder{ private final byte[] JSON_PROTOCOL = { 01, 00, 00, 00 }; private final byte[] STRING_PROTOCOL = { 00, 01, 00, 00 }; private

2016-12-01 16:02:16 5041

转载基于Netty5.0高级案例一之NettyWebsocket

前言介绍：本案例主要介绍如何使用Netty开发websocket。环境需求： 1、jdk1.7 2、Eclipse 3、Netty5.0 4、支持websocket的浏览器[火狐]工程截图：代码部分：服务端：Global.javapackage c

2016-12-01 10:39:12 595

转载 Netty websocket server压力测试

硬件配置：压测客户端和服务器端在同一台pc上。Pc配置：AMD A10-5800K APU with Radeon(tm) HD Graphics 3.80Ghz 四核4G RAM西数WDC WD10EZEX-60ZF5A0 ( 1 TB / 7200 转/分) 这个可以不写的主要的测试目标分为：1. 服务器端在一定时间内可接受客户端空闲连接的数量/峰值；

2016-11-30 17:59:04 19448 2

转载智能家居市场中zigbee通信技术与RF315/433通信技术的区别

zigbee通信技术和RF315/433是我们目前市场中常见的智能家居的通信协议，那么两者有什么区别，我们又该如何去进行选择？接下来就让我们一起来看一下这两者的区别。郑州智能家居http://www.crznjj.com智能家居系统由无线通讯技术支撑，只有可靠的无线技术才能保障智能家居系统运行的稳定和安全，智能家居市场喷发在即，很多公司都想在这个热潮中分得一杯羹。Zig

2016-11-29 17:22:47 10537 1