- 博客(234)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 博客搬家了
<br />新博客地址：http://www.yiihsia.com/ 以后都会在那上面发帖子，欢迎访问<br /> <br />目前主要发些关于nosql、分布式架构、搜索引擎、海量数据处理等方面的帖子。<br /> <br />点击进入：yiihsia[互联网后端技术]
2010-11-19 16:47:00
2339
1
转载 微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨
<br /><br />微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨<br /> [文章作者：孙立 链接：http://www.cnblogs.com/sunli/ 更新时间：2010-08-24]<br /> sns系统，微博系统都应用到了feed（每条微博或者sns里的新鲜事等我们称作feed）系统，不管是twitter.com或者国内的新浪微博，人人网等，在各种技术社区，技术大会上都在分享自己的feed架构，也就是推拉模式（timyang上次也分享了
2010-11-15 15:20:00
6809
2
原创 Tokyo Tyrant参数优化
<br />文章作者：孙立 链接：http://www.cnblogs.com/sunli/ 启动参数介绍 ttserver命令可以启动一个数据库实例。因为数据库已经实现了Tokyo Cabinet的抽象API,所以可以在启动的时候指定数据库的配置类型。<br />支持的数据库类型有：内存hash数据库内存tree数据库hash数据库B+ tree数据库， 命令通过下面的格式来使用，‘dbname’制定数据库名，如果省略，则被视作内存hash数据库。ttserver [-host name] [
2010-11-15 11:34:00
2643
转载 Paxos算法
<br /><br />Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递的一致性算法。[1] 这个算法被认为是类似算法中最有效的。<br />Paxos 算法解决的问题是一个分布式系统如何就某个值（决议）达成一致。一个典型的场景是，在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列，需要在每一条指令上执行一个「
2010-11-11 10:11:00
2709
原创 1GB 的4字节整数，内存排序时间为多少？
<br /> 拿到这个问题，我们往往会计算CPU运算次数，如快排的运算次数为1.4 * N * log(N)，其中1.4为快排的系数，再根据CPU的运算频率计算出排序耗时。不过这种方法很土也不是很准，Jeff Dean告诉我们可以这样估算：排序时间 = 比较时间（分支预测错误） + 内存访问时间。快排过程中会发生大量的分支预测错误，所以比较次数为2^28 * log (2^28) ≈ 2^33，其中约1/2的比较会发生分支预测错误，所以比较时间为1/2 * 2 ^ 32 * 5ns = 21s，另
2010-11-11 09:59:00
3602
原创 TokyoTyrant的管理工具tcrmgr使用小记
<br />申明：本文转自 liunx.cnblogs.com, 感谢原作者 <br /><br /><br />1.先启动一个测试用的ttserver <br />注意使用的所有路径都是绝对路径 <br />ttserver -host 192.168.0.100 -port 20000 -thnum 4 -dmn -ulim 1024m -ulog $(pwd)/ulog/ -log $(pwd)/temp/test.log -pid $(pwd)/temp/test.pid -sid 9 $(pwd)
2010-11-10 14:43:00
2377
转载 大量小文件的实时同步方案
传统的文件同步方案有rsync(单向) 和 unison(双向)等，它们需要扫描所有文件后进行比对，差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将非常耗时。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。之前看了Amazon的Dynamo的设计文档，它们每个节点的数据是通过Hash Tree来实现同步，既有通过日志来同步的软实时特点(msyql, bdb等)，也可以保证最终数据的一致性(rsync, unison等)。Hash Tree的大体思路是将所有数据存储成树状结构，每个节
2010-11-09 16:37:00
2307
转载 linux修改系统环境变量
<br /><br />1、总结背景<br /><br />在linux系统下，如果你下载并安装了应用程序，很有可能在键入它的名称时出现“command not found”的提示内容。如果每次都到安装目标文件夹内，找到可执行文件来进行操作就太繁琐了。这涉及到环境变量PATH的设置问题，而PATH的设置也是在linux下定制环境变量的一个组成部分。本案例基于RedHat AS4讲解环境变量定制的问题。<br /><br />2、变量简介<br /><br />Linux是一个多用户的操作系统。每个用户登录系
2010-11-05 10:44:00
2179
转载 SQL语句的解析方法
<br /> <br /> 数据是程序处理的主要内容，它一般存储在关系型数据库中，要操作它们最终必须要通过SQL语句来完成，因此，解读分析和处理SQL语句成为程序员的基本工作内容之一，当然有时这项任务是比较乏味的，如果让计算机来完成一些基本的分析解读工作如找出SQL语句涉及了哪些表，字段和条件等，可以帮助程序员解放出部分精力，投入到更有挑战性和复杂性的任务中去，本文将就如何解析单句SQL语句提出自己的解决方案和大家探讨，希望大家不吝批评指正。<br /> 首先说明以下单句SQL的范畴,它是指不存在嵌套的S
2010-11-03 15:27:00
4247
2
原创 JSON — Java与JSON数据互转
转换时Bean所要求的：被转换的Bean必需是public的。Bean被转换的属性一定要有对应的get方法，且一定要是public的。Bean中不能用引用自身的this的属性，否则运行时出现et.sf.json.JSONException: There is a cycle in the hierarchy!异常json-lib包转换时，不能以null为键名，否则运行报net.sf.json.JSONException:java.lang.NullPointerException:JSON keys mus
2010-11-02 17:24:00
4953
1
原创 redis的内存陷阱
整天发些转来的帖子, 自己总结太少了. 把我前段时间redis的让我头疼的地方写一下，因为这个原因本来用redis的数据被迁到tokyoCabinet上。redis是个对内存依赖性很强的NoSql数据库，在内存足够的情况下性能出色如果只有一台机子去部署redis，一定要特别小心。比如我有台24G的服务器，理所当然我会将大量内存分配给redis。比如20G的内存， 问题来了， 当你对redis插入数据后，redis会异步将数据dump到硬盘中想起来很完美，问题是它会fork一个进程，并占去同样大小的内存，你需
2010-10-29 15:46:00
5520
2
转载 Java中多态的实现机制
<br /> <br />多态性是面向对象程序设计代码重用的一个重要机制，我们曾不只一次的提到Java多态性。在Java运行时多态性：继承和接口的实现一文中，我们曾详细介绍了Java实现运行时多态性的动态方法调度；今天我们再次深入Java核心，一起学习Java中多态性的实现。<br />“polymorphism(多态）”一词来自希腊语，意为“多种形式”。多数Java程序员把多态看作对象的一种能力，使其能调用正确的方法版本。尽管如此，这种面向实现的观点导致了多态的神奇功能，胜于仅仅把多态看成纯粹的概念。<b
2010-10-29 15:20:00
5248
转载 在shell脚本里使用sftp批量上传文件
<br /><br />如何在shell脚本里使用sftp批量传送文件<br /><br /><br />主要步骤如下:<br />1.为运行shell脚本的本地用户生成密钥对<br />2.将其中的公钥分发到sftp欲登录的远程服务器上<br />3.编写并以上面的本地用户运行shell脚本<br />一.生成密钥对<br />在shell脚本中使用sftp时必须用到密钥对(公钥和私钥).可使用下列方式生成(SSH 2.X版<br />本),这里本地用户记为:local_user:<br />$ ssh-
2010-10-29 10:43:00
4053
转载 10款相似图片搜索引擎
<br /><br />很多时候不知道该使用什么样的关键词来搜索自己想要的图片，却经常这样“我想要张这样的图片。”传统图片搜索引擎很难这样的需求，相似图片搜索引擎应运而生。<br />1. Picitup<br />一个相似图片搜索引擎, 很简单, 输入关键词搜索, 似乎没什么好说的. 但它的搜索过程真的是让人觉得非常专业, 比如我输入”android”进行图片搜索, 可以在搜索结果页通过”面部”, “风景”, “产品”和”颜色”来进行过滤.在过滤后的图片搜索结果页面又可以通过点击某张图片下面的”Simil
2010-10-27 20:15:00
3212
转载 用Nohup命令让Linux下的程序在后台执行
<br /><br /> Unix/Linux下一般想让某个程序在后台运行，很多都是使用 & 在程序结尾来让程序自动运行。比如我们要运行mysql在后台：<br /> /usr/local/mysql/bin/mysqld_safe –user=mysql &<br /> 但是我们很多程序并不象mysqld一样可以做成守护进程，可能我们的程序只是普通程序而已，一般这种程序即使使用 & 结尾，如果终端关闭，那么程序也会被关闭。为了能够后台运行，我们需要使用nohup这个命令，比如我们有个start.sh需
2010-10-27 10:59:00
2006
转载 Linux Shell变量的使用
一、本地变量的使用本地变量就如同局部变量一样，只在本SHELL中起作用。它不会影响到其他SHELL中的变量。1。显示变量值可以使用echo命令。需要注意的是，使用变量的时候必须在变量名前加上$符号2。清除变量使用unset命令可以清除命令。3。显示所有本地SHELL变量SHELL中预定义了一些环境变量。要想显示这些命令，可以使用set命令。另外，用户自己已经定义过的本地变量也会在其中显示。4。测试变量是否已经赋值${variable:-value}如果变量已经赋值，则使用该变量值。如果变量为空，则使用v
2010-10-26 14:03:00
2239
1
原创 解决linux打开文件数1024限制的解决办法
今天启动jboss时突然报了 open files limit...原来linux默认的文件描述符1024(ulimit -a命令查看)被用光了修改ulimit文件描述符打开/etc/security/limits.conf 添加下面两行* soft nofile 65536* hard nofile 65536想所有用户生效的话换成 * ，设置的数值与硬件配置有关，别设置太大了。
2010-10-19 20:27:00
3111
转载 linux磁盘IO查看(iostat)
<br />##############<br />#<br /># 操作<br />#<br />##############<br /># iostat -x 1 10<br />Linux 2.6.18-92.el5xen 02/03/2009<br />avg-cpu: %user %nice %system %iowait %steal %idle<br /> 1.10 0.00 4.82 39.54 0.07 54.46<br
2010-10-18 10:44:00
2149
原创 上海MYSQL大会摘要
<br />【谭俊青：MyISAM和InnoDB的比较】MySQL存储引擎图，使用最多的是MyISAM。一般爱可生推荐InnoDB给客户。MyISAM存储构成：3个文件（tableName.frm, tableName.MYD, tableNameMYI），不支持事务，表锁。<br /> <br />【谭俊青：MyISAM和InnoDB的比较】MyISAM行存储格式 1 定长-表结构中没有变长字段，默认就是定长存储。好处（高效能，更好的恢复能力，不需整理） 2 变长-表结构如果包含varchar, varb
2010-10-18 09:40:00
2754
转载 Tokyo Cabinet的安装，含Java版
1、安装依赖的库需要安装bzip2和zlibzlib很简单，yum搞定：yum install zlib-devel但是yum上的bzip2似乎不符合作者推荐的版本最低要求，所以手动安装吧……wget http://www.bzip.org/1.0.5/bzip2-1.0.5.tar.gz tar -xzvf bzip2-1.0.5.tar.gz cd bzip2-1.0.5 make -f Makefile-libbz2_so make install PREFIX=/usr2、编译、安装Tokyo Ca
2010-10-15 16:12:00
2528
转载 技术领域—海量存储计算
PB时代的来临Petabyte，2的50次方个字节。这个对很多人还是很陌生的计量单位，已经变得越来越普遍和触手可及。2004年8月，GOOGLE日常任务输入的数据已经达到了3PB ；2005年Mark Hurd从Teradata来到HP出任CEO，开始建设基于Neo View的8PB的HP EDW。2006年，YAHOO构建了世界上第一个基于ORACLE RAC的PB级别数据中心。2007年9月，GOOGLE的日常任务的输入数量膨胀到403个PB，而输出文件的尺寸也达到了14PB。2008年6月，wired
2010-10-14 09:49:00
1464
转载 关于swap,虚拟内存和page的区别
<br />以前的操作系统是实模式，例如dos。每个时候只有一个进程在跑，这个进程使用全部的物理内存。<br /><br />后来发展到保护模式，分时多进程。一个CPU上跑多个进程， 但进程不知道到底有多少内存可以用，它能访问内存最大地址。例如16位系统就能访问2^16byte，32位就是2^32位。但是实际上没有那么多内存阿？怎么办？保护模式就应运而生了。<br /><br />假设进程是一个刘祥，裁判（系统）一发令他就开始跑步。但是裁判说给你1秒，可以跑100米。于是刘祥开始跑步（内存地址），一秒后刘祥
2010-10-13 16:09:00
1151
1
转载 大流量、高并发的网站的底层系统架构
动态应用，是相对于网站静态内容而言， 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以保证网站应用的平稳运行。大型动态应用系统又可分为几个子系统：l Web前 端系统l 负 载均
2010-10-12 11:07:00
1456
转载 linux下的内存查看（virt,res,shr,data的意义）
<br /> <br />其实在认真阅读了这篇名为“计算内存使用”的文章之后，还是处于半迷糊状态。这位作者就说Linux下面没有特别好的显示内存占用的工具，虽然有top和free，但都说得不清楚，就跟巫毒教的魔术似的。<br /><br />比如top这个工具，它会显示3种数据，作者分别解释如下：<br /><br />VIRT：virtual memory usage。Virtual这个词很神，一般解释是：virtual adj.虚的, 实质的, [物]有效的, 事实上的。到底是虚的还是实的？让Googl
2010-10-12 10:51:00
1307
原创 阿里巴巴技术部面试题——经典智力问题收集
技术部面试题——经典智力问题收集 ——鉴于很多题目大家都做过，如果可以把思维的过程写出来，也是一次很好锻炼。我们公司技术部的面试题，当时挂在这上面了，没答出来。 我一直在想，这些问题是属于什么问题，数学问题？物理问题？还是语文问题？第一部分题目开始：1、有两根不均匀分布的香，香烧完的时间是一个小时，你能用什么方法来确定一段15分钟的时间？2、一个经理有三个女儿，三个女儿的年龄加起来等于13，三个女儿的年龄乘起来等于经理自己的年龄，有一个下属已知道经理的年龄，但仍不能确定经理三个女儿的年龄，这时经理说只有
2010-09-26 10:22:00
14708
3
转载 java.util.concurrent 多线程框架
<br />JDK5中的一个亮点就是将Doug Lea的并发库引入到Java标准库中。Doug Lea确实是一个牛人，能教书，能出书，能编码，不过这在国外还是比较普遍的，而国内的教授们就相差太远了。<br />一般的服务器都需要线程池，比如Web、FTP等服务器，不过它们一般都自己实现了线程池，比如以前介绍过的Tomcat、Resin和Jetty等，现在有了JDK5，我们就没有必要重复造车轮了，直接使用就可以，何况使用也很方便，性能也非常高。<br />package concurrent;import
2010-09-10 14:53:00
1816
1
转载 linux下的文件文件传输工具 sftp命令
<br />sftp 是一个交互式文件传输程式。它类似于 ftp, 但它进行加密传输，比FTP有更高的安全性。下边就简单介绍一下如何远程连接主机，进行文件的上传和下载，以及一些相关操作。<br />在ubuntu下的安装apt-get install sftp ,当然得确保您有足够的权限安装该程序<br />linux下如何使用sftp命令。 <br />举例，如远程主机的 IP 是 202.206.64.33或者是域名www.yiihisa.com.cn,用户名是 yiihisa<br />,在命令行模式
2010-09-07 16:49:00
5239
转载 程序员如何写出杀手级简历
<br /><br />英文原文：http://niniane.org/resume_howto.html<br />这几年，我在Google工作，是一名软件工程师(之前是在微软做一个开发团队的队长)，我曾浏览过成百上千的简历，从中挑选出可以进行下一步面试过程的 应聘者。 有些人的简历给我留下了很深的印象，而另一些则没有感觉。<br />慢慢的，有越来越多的朋友和亲人向我咨询如何优化他们的简历，所以我就收集了一些我见过的简历中出现的最常见的问题，并给出了如何避免这些问题的建议：<br />1. 简历里要有你
2010-08-17 11:57:00
1090
转载 CONSISTENT HASHING算法实现
在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法（Round Robin）、哈希算法（HASH）、最少连接算法（Least Connection）、响应速度算法（Response Time）、加权法（Weighted ）等。其中哈希算法是最为常用的算法. 典型的应用场景是： 有N台服务器提供缓存服务，需要对服务器进行负载均衡，将请求平均分发到每台服务器上，每台机器负责1/N的服务。 常用的算法是对hash结果取余数 (hash() mod N)：对机器编号从0到N-1
2010-08-13 16:15:00
1083
转载 Tair: 淘宝的key/value解决方案
<br /><br />这篇文章由若海于2010年06月30日 17:16发表在Tair。<br /><br />今天我们对外开源了Tair，Tair是由淘宝开发的key/value解决方案，你可以在这里获取更多信息。<br />Tair在淘宝有着大规模的应用，在你登录淘宝、查看商品详情页面、在淘江湖和好友“捣浆糊”等等时候，后面都在直接或间接的和Tair交互。Tair是什么<br />Tair是一个分布式的key/value结构数据的解决方案，系统默认支持基于内存和文件的存储引擎，对应于通常我们所说的缓存
2010-07-30 12:02:00
1431
转载 Cassandra 读/插入/删除操作的实现
<br />Cassandra 数据模型概述<br />关于数据模型的基本概念先参考 http://wiki.apache.org/cassandra/DataModel 。 注意：这篇文章中关于 Column Families 和 Rows 的描述是不准确的，而且缺少 column family store (CFS) 这一重要概念。 下面对 Column Families 做进一步的说明。<br /> Column-family 数据模型<br />为了简化，我们先忽略 SuperColumn。<br
2010-07-29 16:58:00
11655
原创 redis学习笔记
什么是redis?redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正)Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构
2010-07-27 19:43:00
7380
3
转载 [译文]Cassandra实例
<br /><br />原文: http://www.rackspacecloud.com/blog/2010/05/12/cassandra-by-example/#<br />原作者：Eric Evan<br />原文发布日期：May 12, 2010<br />译者：王旭（http://wangxu.me/blog/ , @gnawux）<br />翻译时间：2010年5月15,25,26日<br />近来 Cassandra 备受瞩目，很多人正在评估是否可以应用 Cassandra。由于这些人更多的
2010-07-27 19:22:00
1276
转载 分布式 Key-Value 存储系统：Cassandra 入门
<br /><br />简介： Apache Cassandra 是一套开源分布式 Key-Value 存储系统。它最初由 Facebook 开发，用于储存特别大的数据。 Cassandra 不是一个数据库，它是一个混合型的非关系的数据库，类似于 Google 的 BigTable。本文主要从以下五个方面来介绍 Cassandra：Cassandra 的数据模型、安装和配制 Cassandra、常用编程语言使用 Cassandra 来存储数据、Cassandra 集群搭建。<br /><br /><br /
2010-07-23 19:41:00
2090
转载 大话Cassandra数据模型
<br /><br />Cassandra是一个开源的分布式数据库，结合了Dynamo的Key/Value与Bigtable的面向列的特点。<br />Cassandra的特点如下：<br />1.灵活的schema：不需要象数据库一样预先设计schema，增加或者删除字段非常方便（on the fly）。<br />2.支持range查询：可以对Key进行范围查询。<br />3.高可用，可扩展：单点故障不影响集群服务，可线性扩展。<br />我们可以将Cassandra的数据模型想象成一个四维或者五维的
2010-07-23 16:32:00
1288
原创 Redis配置文件redis.conf参数解读
redis.conf配置选项如下daemonize 是否以后台进程运行，默认为nopidfile 如以后台进程运行，则需指定一个pid，默认为/var/run/redis.pidbind 绑定主机IP，默认值为127.0.0.1（注释）port 监听端口，默认为6379timeout 超时时间，默认为300（秒）loglevel 日志记录等级，有4个可选值，debug，verbose（默认值），notice，warninglogfile 日志记录方式，默认值为stdoutdatabases 可用数据库数，默
2010-07-22 10:10:00
24912
转载 Linux文件处理命令教程
<br /> Linux系统信息存放在文件里，文件与普通的公务文件类似。每个文件都有自己的名字、内容、存放地址及其它一些管理信息，如文件的用户、文件的大小等。文件可以是一封信、一个通讯录，或者是程序的源语句、程序的数据，甚至可以包括可执行的程序和其它非正文内容。 Linux文件系统具有良好的结构，系统提供了很多文件处理程序。这里主要介绍常用的文件处理命令。<br /><br />file<br /><br /> 1.作用<br /><br /> file通过探测文件内容判断文件类型，使用权限是所有用户。
2010-07-20 09:57:00
1059
转载 linux下redis的安装
源地址：http://hanqunfeng.javaeye.com/blog/684108安装redis版本为1.2.6一。下载redis下载地址：http://code.google.com/p/redis/downloads/list选择redis-1.2.6.tar.gz 将该下载包拷贝到/usr/local/redis下（随意了，找个地方就好）二。安装cd /usr/local/redistar zxvf redis-redis-1.2.6.tar.gzcd redis-redis-1.2.6ma
2010-07-15 20:03:00
1658
转载 Unix 5种IO模型的图解分析和比较
Unix 5种IO模型的图解分析和比较（转自http://blog.csdn.net/blueboy2000/archive/2009/08/26/4485874.aspx）Unix下共有五种I/O模型阻塞I/O非阻塞I/OI/O复用（select和poll）信号驱动I/O（SIGIO）异步I/O（Posix.1的aio_系列函数）b.阻塞I/O模型 应用程序调用一个IO函数，导致应用程序阻塞，等待数据准备好。 如果数据没有准备好，一直等待。。。。 数据准备好了，从内核拷贝到用户空间 IO函数返回成功指示c
2010-07-08 19:26:00
1275
原创 介绍一本搜索引擎爬虫方面的好书
这学期去图书馆借书，无意间看带一本书《网络机器人Java编程指南》。看了下感觉如获至宝。市面上将爬虫的书可以说是没有，基本上只有在搜索引擎类的书里有提到，而且只是讲个思想，没有可以用的代码。而《网络机器人Java编程指南》是彻头彻尾讲解web爬虫的书籍，2002年出版的，目前已绝版。此书可说是非常珍贵这是china-pub的链接http://www.china-pub.com/6565 进了作者的博客，下到了源代码，作者一直在更新，所以源代码可以在JDK6.0上正常运行。速度很快。相比如其他几款开源爬虫，本
2010-07-07 14:22:00
10868
4
用于中文分词的中文词库包
2010-01-04
Java聊天室程序源码
2009-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人