2012年03月_zhangxinrun_业余erlang

转载开源搜索项目-倒排索引代码解析（一）

转载：http://www.mingyuanfeng.co.cc/search/label/%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95%EF%BC%8C%E5%BC%80%E6%BA%90%EF%BC%8C%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E搜索引擎的底层索引使用一种叫“倒排索引”(inverted index)的索

2012-03-31 16:08:55 6501

转载 Coroutine实现有感

转载：http://www.douban.com/note/11552969/今天在debug的过程中顺便翻看了wikipedia的Coroutine条目，简单了解一下coroutine的实现机制：Coroutine其实仍然是串行运算，并不是真正意义上的并行计算。因此coroutine不会有传统并行计算的访问冲突。Coroutine的实现方式可以分成两种，第一种是借用C的S

2012-03-28 14:44:02 1651

转载通过设置P3P头来实现跨域访问COOKIE

转载：http://blog.c114.net/html/38/193738-35549.htmlPassport 一方面意味着用一个帐号可以在不同服务里登录，另一方面就是在一个服务里面登录后可以无障碍的漫游到其他服务里面去。坦白说，目前 sohu passport 在这一点实现的很烂（不过俺的工作就是要把它做好啦，hehe）搜狐的 SSO 需求比较麻烦，因为它旗下有好多域名：

2012-03-22 14:52:11 7168 1

转载简单介绍 P3P 技术

转载：http://blog.csdn.net/ghj1976/article/details/4889219 牛人的博客以 Internet Explorer 为例，默认情况下，IE的隐私策略如下图所设：（图一）请注意其中这一条：阻止保存可用来联系您的信息而没有您的明确同意的第三方Cookie。下面我们首先来演示一下，这一条起作用的情况：站点 b.com 有这

2012-03-22 14:47:47 15178 1

转载关于p3p 简洁策略,以及浏览器的支持情况

转载：http://www.cnblogs.com/_franky/archive/2011/03/16/1985954.html简述部分摘自某本关于P3P隐私策略的书籍.而部分详细的表格来自w3.org.而相关测试数据出自本人测试.如有遗漏或错误,欢迎指正.相关资源:1. http://www.w3.org/P3P/2. http://www.w3.org/T

2012-03-22 14:46:31 1754

转载功能丰富的五大免费网络管理工具包

转载：http://network.51cto.com/art/201203/322825.htm对于网络管理员来说，日常工作的内容是相当繁多复杂的;不过，只要在合适工具的帮助下，我们就可以让任务变得简单了不少。本文中所提供的五种实用免费工具，就属于可以让任务变得非常简单的范畴。尽管，这并不意味着用户需要时刻都使用，但只要放在手边就一定会带来惊喜。1：无线网络信号扫描工具InS

2012-03-20 13:55:03 1205

转载协同过滤

转载：http://baike.baidu.com/view/981360.htm电子商务推荐系统的一种主要算法。　　协同过滤推荐（Collaborative Filtering recommendation）是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似（兴趣）用户，综合这些

2012-03-19 16:45:29 2031

转载 Ganglia：分布式监控系统

转载：http://duanple.blog.163.com/blog/static/70971767201183092413177/1 环境安装配置1.1 依赖软件下载Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以

2012-03-16 17:48:23 2628

转载 linux下工具md5sum

转载：http://baike.baidu.com/view/1919192.htm　　linux 下 shell命令，制作md5码也用于软件的md5校验　　MD5算法常常被用来验证网络文件传输的完整性，防止文件被人篡改。MD5全称是报文摘要算法（Message-Digest Algorithm 5），此算法对任意长度的信息逐位进行计算，产生一个二进制长度为128位（十六

2012-03-15 11:17:49 1870

转载抓包工具Charles

是一个HTTP代理服务器,HTTP监视器,反转代理服务器.它允许一个开发者查看所有连接互联网的HTTP通信.这些包括request, response现HTTP headers (包含cookies与caching信息). 　　注意：该软件在特殊情况下会出现劫持浏览器导致无法浏览网页的问题(请谨慎使用)。

2012-03-14 10:29:19 3220

转载 HTTP头信息中的参数Etag

转载：http://www.oschina.net/question/234345_42536?sort=time服务器如果是集群，不同服务器返回的 Http Header 中的 Etag 参数不一样。如果是图片是程序生成的，我们可以用 no-cache 这些 header 来控制，但如果这些图片是 apache 或 nginx 等呢？下面开始介绍 Etag：

2012-03-14 10:28:22 894

转载为什么Hadoop将一定会是分布式计算的未来？

转载：http://www.cnblogs.com/LeftNotEasy/archive/2011/08/27/why-map-reduce-must-be-future-of-distributed-computing.html前言：很久没有写写博客了，之前主要是换工作，耽误了很多的时间，让人也变得懒散，不想花大时间来写东西。另外就是也确实没有什么自己都觉得有意思的

2012-03-09 13:11:16 863

转载 linux下禁止交换分区

计算机使用内存来存储临时数据，但由于内存容量有限，所以需要在硬盘上开辟一块临时存储空间，这就是交换分区。交换分区也有讨厌的一面。硬盘的速度比内存慢很多，更不用说CPU中的缓存和寄存器了。正式因为这个原因，当计算机使用交换分区时，你会发现，当前程序乃至整个计算机运行缓慢。所幸，现在内存已经很便宜了。如果你有足够的内存，可以在命令行终端停用交换分区：echo "vm.swappiness=

2012-03-09 11:30:49 4469

转载 Dell与Cloudera 共推Hadoop 解决方案

转载：http://hb.qq.com/a/20110905/001239.htm在企业中部署Hadoop时，如何从数据中获取商业价值，而不用担心如何管理Hadoop软件框架。为了实现这样的愿望，Dell和Cloudera联合推出了Hadoop解决方案Cloudera Enterprise。　　成功应用Cloudera的Hadoop发行版对大量结构化和非结构化数据进行分析的最快

2012-03-09 11:27:47 1353

转载 Hadoop标准化安装工具 Cloudera

Cloudera为了让Hadoop的配置标准化，可以帮助企业安装，配置，运行hadoop以达到大规模企业数据的处理和分析。既然是给企业使用，Cloudera的软件配置不是采用最新的hadoop 0.20，而是采用了Hadoop 0.18.3-12.cloudera.CH0_3的版本进行封装，并且集成了facebook提供的hive，yahoo提供的pig等基于 hadoop的sql实现接口

2012-03-09 11:26:14 909

转载 mapr集群

转载：http://baike.baidu.com/view/6905513.htm2011年6月，在Hadoop 2011峰会上，MapR的创始人M.C. Srivas做了名为《Design, Scale and Performance of MapR's Distribution for Hadoop》的演讲，比较详细的介绍了MapR设计原则，部分实现细节以及MapR的性能，外界也

2012-03-09 11:22:41 928

转载 Hadoop——你不得不了解的大数据工具

转载：http://cloud.csdn.net/a/20120220/312061.html如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种

2012-03-09 11:02:34 1129

转载 linux图形界面基本知识（X、X11、Xfree86、Xorg、GNOME、KDE之间的关系）

转载：http://apps.hi.baidu.com/share/detail/11596555LINUX初学者经常分不清楚linux和X之间，X和Xfree86之间，X和KDE，GNOME等之间是什么关系。常常混淆概念，本文以比较易于理解的方式来解释X，X11，XFREE，WM，KDE，GNOME等之间的关系。一、linux本身没有图形界面，linux现在的图形界面的实现只

2012-03-08 11:23:12 43576 4

转载 Redis 通讯协议规范

转载：http://blog.sina.com.cn/s/blog_6b3795450100vsir.htmlRedis 通讯协议规范redis是一个key-value形式的基于内存的数据库当安装完程序后我们知道可以用redis-cli连接redis-server进行通讯，进行各种操作。那么如今我们用的高级语言如：C、Java、Python、C#等如何来发送命令

2012-03-06 16:56:42 10852

转载 LVS-DR工作原理图文详解

转载：http://www.cnblogs.com/czh-liyu/archive/2011/11/29/2267963.html为了阐述方便，我根据官方原理图另外制作了一幅图，如下图所示：VS/DR的体系结构：我将结合这幅原理图及具体的实例来讲解一下LVS-DR的原理，包括数据包、数据帧的走向和转换过程。官方的原理说明：Director接收用户的请求，然后根据负

2012-03-02 16:23:46 2108

转载 Redis采用不同内存分配器碎片率对比

转载：http://www.searchdatabase.com.cn/showcontent_55782.htm我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。　　在Redis的 zmalloc.c 源码中，我们可以看到如下代码：　　48 /* Explicitl

2012-03-02 14:47:29 3954

转载 lvs+keepalived和haproxy+heartbeat区别

转载：http://23live.cn/server/lvs-keepalived-haproxy-heartbeat/最近一直在看一些高可用性的负载均衡方案，当然那些f5之类的硬件设备是玩不起也接触不到了。只能看这些for free的开源方案。目前使用比较多的就是标题中提到的这两者，其实lvs和haproxy都是实现的负载均衡的作用，keepalived和heartbeat都是提高高

2012-03-02 14:46:01 11011

转载网管工具之cacti

转发：http://baike.baidu.com/view/1358799.htmCacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。Cacti是通过 snmpget来获取数据，使用 RRDtool绘画图形，而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、

2012-03-02 14:41:45 1265

转载 redis总结

转载：http://blog.sina.com.cn/s/blog_4a1f59bf0100teiz.htmlredis高可用 (来自于：http://www.iteye.com/topic/1108383）因为redis不仅作为缓存使用，而且也是resque执行异步和定时任务的消息队列，因此对于可用性的要求就比较高，一旦挂掉，所有后台任务就会全部停止，严重影响网站的功能和体验。

2012-03-01 17:40:28 2260

原创 erlang任务分发

%% Author: Administrator%% Created: 2011-12-12%% Description: TODO: Add description to ipad_deal-module(ipad_deal).%%%% Include files%%%%%% Exported Functions%%-export([init/2,

2012-03-01 09:42:23 1011

zhangxinrun的专栏