2014年07月_小狼_百度

12月 10月 08月 07月 06月 05月 04月 03月 02月 01月

转载 JVM内存管理

为了保证java内存不会溢出，java中有垃圾回收机制。垃圾回收机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc，也没有规定gc如何工作。垃圾收集的目的在于清除不再使用的对象。gc通过确定对象是否被活动对象引用来确定是否收集该对象。　　内存溢出就是你要求分配的java虚拟机内存超出了系统能给你的，系统不能满足需求，于是产生溢出。　　内存泄漏是指你向系统

2014-07-31 11:14:48 743

转载 nginx做透明代理

在VPN网关上设置一个透明代理能在一定程度上提高客户端的下载速度。最适合做透明代理的自然是squid，但squid有两个缺点：不支持多CPU；存在内存泄漏问题，我设置squid内存缓存64m，结果睡一觉起来发现squid吃了200m+。后来听kangzi说nginx也可以架设http代理，所以考虑把squid换成nginx。nginx并不是为正向代理设计的，所以如果

2014-07-29 10:57:17 14748

转载关于Nginx的一些优化(突破十万并发)

nginx指令中的优化（配置文件）worker_processes 8;nginx进程数，建议按照cpu数目来指定，一般为它的倍数。worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然可以

2014-07-29 10:54:27 902

转载 Nginx缓存区内存配置大小对性能测试的影响

现象：Nginx与应用都在同一台服务器（4g内存、4核cpu）上，nginx缓存区内存配置1g，开启nginx的accesslog，跑图片终端页性能脚本，观察到accesslog里面有90%以上的MISS状态的，nginx缓存没有起到作用，加大nginx缓存内存为2g，清了缓存再次跑性能脚本，accesslog中的MISS状态仍占大部分，且应用服务器的内存空间基本被用完。解决：将nginx与应

2014-07-29 10:47:54 3317

转载 nginx 图片缓存

最近准备用nginx搭建了一个图片服务器，看中的就是nginx超强的静态文件处理能力。由于图片量比较大，和web服务器（也是nginx）分开运行，虽然web服务器调用图片没用问题，但毕竟是远程调用，肯定没有本地文件系统那么快，因此仍然有优化的空间。使用前的nginx配置12345location ~*

2014-07-29 10:28:18 24002 2

转载 Nginx Proxy Cache分析

本文从几个部分来详细介绍Nginx的proxy cache功能。第一部分，主要介绍proxy cache的过期、空间管理等。第二部分，主要介绍在Nginx(作为反向代理服务器)收到请求之后，如何检查本地的缓存来确定是否要向后端服务器发起请求。第三部分，主要介绍Nginx向后端服务器发起请求并收到回复的情况下，如何把响应回复缓存到本地。第一部分在Nginx中，如果启用

2014-07-29 10:27:53 1039

转载 Storm - Transactional-topologies

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like countin

2014-07-28 11:16:16 1233

转载 Curator-Framework开源Zookeeper快速开发框架介绍

Zookeeper 客户端框架 Curator-Framework 来自Netflix公司，现在归Apache，目前版本2.0.1！在使用ZK开发时会遇到让人头疼的几个问题，ZK连接管理、SESSION失效等一些异常问题的处理，Curator替我们解决了这些问题，通过对ZK连接状态的监控来做出相应的重连等操作，并触发事件！更好的地方是Curator对ZK的一些应用场景提供了非常好的实现

2014-07-25 17:20:35 15285

转载 Storm Topology的并发度

一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology一个worker可用包含一个或多个executor, 每个component (spout或bolt)至少对应于一个executor, 所以可以说executor执行一个compenent的

2014-07-25 16:55:47 1375

转载 Twitter Storm源代码分析之DRPC架构细节

2014-07-24 17:39:51 722

转载 Storm源码浅析之topology的提交

最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组织，并且只分析我关注的东西，因此称之为浅析。一、介绍 Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核心逻辑。源码统计结果： 180 text files.

2014-07-23 15:34:07 6593

转载从B 树、B+ 树、B* 树谈到R 树

作者：July、weedge、Frankie。编程艺术室出品。说明：本文从B树开始谈起，然后论述B+树、B*树，最后谈到R 树。其中B树、B+树及B*树部分由weedge完成，R 树部分由Frankie完成，全文最终由July统稿修订完成。出处：http://blog.csdn.net/v_JULY_v 。第一节、B树、B+树、B*树1.前言：动态查找树主要有：二叉查找树

2014-07-23 11:08:33 746

转载百度员工离职总结：如何做个好员工

2014年7月4日，我从百度离职了。　　这是第一次，我不是因为和老板闹翻而离职;　　这是第一次，我带着晋升的喜悦而离职;　　这是第一次，我带着满满的收获而离职。　　我曾经认为，我永远不会成为一个好员工，因为我太独、太挑剔、不喜欢听话的好孩子、而且讨厌一切想要改变我的人。但是三年过去，我改变了不少，我必须承认，所谓“进步”的过程，就是被认可的过程，也是被“驯化”的过程

2014-07-22 16:33:12 980 1

转载 Netty系列之Netty线程模型

1. 背景1.1. Java线程模型的演进1.1.1. 单线程时间回到十几年前，那时主流的CPU都还是单核（除了商用高性能的小机），CPU的核心频率是机器最重要的指标之一。在Java领域当时比较流行的是单线程编程，对于CPU密集型的应用程序而言，频繁的通过多线程进行协作和抢占时间片反而会降低性能。1.1.2. 多线程随着硬件性能的提升，CPU的核数越来越越多，很多服务器标配

2014-07-16 10:29:02 16134 6

转载 Apache kafka原理与特性(0.8V)

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka. 一

2014-07-15 17:58:36 8826 1

转载 Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)

I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processing, and Hadoop data ingestion.To actually

2014-07-15 17:56:51 943

转载【Storm总结-6】Twitter Storm: DRPC简介

转自：http://xumingming.sinaapp.com/756/twitter-storm-drpc/-------------------------Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出

2014-07-14 16:35:23 581

转载 [Trident] Storm Trident 教程

英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。如果你对Pig和Cascading这种高级批量处理

2014-07-14 16:32:51 667

转载 Storm入门教程第五章一致性事务

第五章一致性事务Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topology目前已经不再维护，由Trident来实现事务性to

2014-07-14 16:08:14 665

转载 Storm入门教程第二章构建Topology

2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓

2014-07-14 15:57:07 697

转载 Storm入门教程第三章 Storm安装部署步骤

本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。3.1 Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：1. 主控节点（Master Node）

2014-07-14 15:56:09 710

转载 storm入门教程第一章前言

1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。随着互联网的更进一步发

2014-07-14 15:55:02 654

转载 storm入门教程第四章消息的可靠处理

转载自：量子恒道官方博客4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建。我们来思考一下流式的“

2014-07-14 14:24:39 725

转载 zookeeper入门（2）解读zookeeper的配置项

ookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：CS通信心跳数Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000

2014-07-07 18:02:08 1301

转载 zookeeper超时--minSessionTimeout与maxSessionTimeout

很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？其实只这么设置，根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值Java代码 publ

2014-07-07 17:59:57 20840

转载分布式发布订阅消息系统 Kafka 架构设计

转自：http://www.oschina.net/translate/kafka-design参与翻译(4人)：fbm, 飞翔的猴子, Khiyuan, nesteaa感谢这些同志们的辛勤工作，翻译的真不错，目前见到的最好的Kafka中文文章-------------------------------我们为什么要搭建该系统Kafka是

2014-07-04 18:38:16 955