2012年02月_chuanzhongdu1

原创 hbase优化

修改noprc nofileubuntu/etc/security/limits.conf增加username soft noproc 32000username hard noproc 32000username soft nofile 32768username hard nofile 32768在/etc/pam.d/common-session加入ses

2012-02-27 15:10:12 1841

转载树、B-树、B+树、B*树和红黑树

B 树即二叉搜索树： 1. 所有非叶子结点至多拥有两个儿子（Left 和Right ）； 2. 所有结点存储一个关键字； 3. 非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；如： B 树的搜索，从根结点开始，如果

2012-02-24 17:02:11 1575

转载数据库随机IO优化总结

最近比较空一点, 记录一下总结性的东西.IO性能衡量标准:1. IOPS: 每秒的读写次数, 对于随机IO的应用, IOPS是主要的衡量标准.2. 吞吐量: 单位时间内的数据传输量, 对于顺序IO的应用, 吞吐量是主要的衡量标准.影响IOPS和吞吐量的磁盘性能要素:1. 寻道时间: 读写磁头移动至正确的磁道上所需要的时间, 当前磁盘寻道时间一般为3ms-15ms

2012-02-23 16:46:24 995

原创 hadoop动态增加删除节点

在master的conf/hdfs-site.xml中加入 dfs.hosts.exclude value>excludesvalue> 在$HADOOP_HOME下创建exclueds文件文件内容增加你想删除的节点，一行一个/bin/hadoop dfsadmin -refreshNodes命令刷新datanode例表/bin/hadoop dfsadmin -rep

2012-02-23 16:01:24 1976

原创 hbase相关问题处理

2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception increateBlockOutputStream java.io.EOFException2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block

2012-02-23 13:33:46 1719

原创 gearman简介及安装使用

Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能，由于图片resize需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面Gearman分布式任务实现原理上只用到2个字段，f

2012-02-23 13:10:45 945

原创 linux下ssh无密码登陆不了的解决方法

搞了一天的ssh无密码登陆原来配过没这么麻烦过主要就是当前用户的根目录权限 chmod 700 .ssh目录 chmod 700.ssh目录中的文件 chmod 600700与600大了小了都不行在redhat上

2012-02-21 11:04:06 670

原创 mongo主从配置

启动主./mongod -logpath ../data/mstest/logs/mylog.log -dbpath ../data/mstest -logappend -port 30000 -master参数说明oplogSize 指定log大小启动从 ./mongod -dbpath ../data/mstest/ -logpath ../data/mstest

2012-02-17 17:12:00 734

转载 MongoDB索引实战技巧

本文内容源自Kyle Banker 的 MongoDB In Action一书。主要描述了MongoDB索引相关的一些基础知识和使用技巧。索引类型虽然MongoDB的索引在存储结构上都是一样的，但是根据不同的应用层需求，还是分成了唯一索引（unique）、稀疏索引（sparse）、多值索引（multikey）等几种类型。唯一索引唯一索引在创建时加上uniqu

2012-02-16 10:23:52 805

转载 mongo capped collection简介

简单介绍capped collections是性能出色的有着固定大小的集合（定容集合），以FIFO规则和插入顺序进行 age-out(老化移出)处理，自动维护集合中对象的插入顺序，在创建时要预先指定大小。如果空间用完，新添加的对象将会取代集合中最旧的对象。功能特点可以插入及更新，但更新不能超出 collection 的大小，否则更新失败。不允许删除，但是可以调用 dr

2012-02-14 14:13:36 1270

原创 ycsb测试mongo笔记

ycsb是一个非常方便的针对分布式文件系统的测试工具：https://github.com/brianfrankcooper/YCSB 特点： 1 可以任意设置读写比例、线程数量，打印结果比较详细 2 它是hbase等nosql官方jira上面的测试标准，与人交流时ycsb的测试数据最能说明问题缺点： 1 每次测试时数据需要重新写入，否则读取时选取不了正确的key值，导致

2012-02-13 15:43:08 3079 3

转载 nosql学习笔记

关系型数据库缺点：1.复杂导致不确定性。使用SQL的一个问题就是计算某个查询的代价或者产生的负载几乎是不可能的。使用简单的查询语言可能会导致应用层的逻辑更复杂，但是这样可以将存储系统的工作简单化，让它只需要响应一些简单的请求2.对一个问题建模有很多种方式。其中关联型的数据模型是非常严格的一种：表结构的定义规定了表中每一行数据的存储内容。如果你的数据结构化并没有那么强，或者对每一行数据的要求

2012-02-13 12:29:00 715

转载 xpath常用语法

XPath 示例本主题回顾整个 XPath 参考中出现的语法示例。所有示例均基于本节后所附《XPath 语法的示例 XML 文件》。表达式引用./author当前上下文中的所有元素。注意，此表达式等效于下一行中的表达式。author当前上下文中的所有元素。first.name当前上下文中的所有元素。/bookstore本文档的

2012-02-09 12:26:09 699

原创 mongodb集群搭建

只有一台ubuntu机器，配置方案：1、3个分片sharding2、每一个分片由3个节点构成1主2备的Replica Sets3、3个配置节点Configsever4、1个路由节点MongosShard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单点故障

2012-02-07 16:56:45 1506

原创 mongodb安装配置及java应用

window版本2.0.2下载地址：http://downloads.mongodb.org/win32/mongodb-win32-i386-2.0.2.zip免安装直接解压ok启动mongodb进入%MONGODB_HOME%\bin主要用到两个文件:mongod,mongomongod用来启动mongomongo即mongodb的命令行工具执行mongod.exe

2012-02-03 13:10:12 1536

chuanzhongdu1的专栏