静室

ssd 读写性能

在某人的幻灯片上看到下面关于flash磁盘性能的一些总结，记录一下Read B/WWrite B/WErase Lat.Read Lat.Cost per GBHDD100 mb/s150.00 mb/s 5,000.00 us$0.10NAND MLC  250 mb/s 70.00 mb/s 3.5 ms ...

emeditor的monokai配色

看到textmate上的monokai配色，觉得很漂亮，移植到emeditor上了。因为最近基本只写python的代码，所以只有python的。 python.esy 写道; EmEditor Syntax File;; To import this file to an existing configuration, select Configurati...

还用不惯erlang

断断续续的看了几周erlang，然后用一天写了个聊天室的原型，再用一天写了web接口和网页的demo，不过第二天基本在看inets的文档和调js，接口倒是很简单。总得来说用erlang写东西还是挺方便的，和perl同年生的东西啊，虽然用的人不多，但库还是不少的。虽然看了本书，但还只是了解了几个很常用的。而且函数模块的命名有些很奇怪，总是会忘记名字是什么。现在对otp还不是很明白，书上内容太少了，仍...

跨域ajax请求

刚放假回来，今天一帮搞js的人居然都不在。要写一个跨域的ajax的请求，用的是jquery。它包含带了一些ajax方法，可是文档太不详细了，看到可以使用.getJSON请求异域的json文件，因为js文件可以跨域。文档里写jquery会自动执行一个回调函数，看了半天也没明白什么意思。还是google比较快。用getJSON请求时，jquery会自动在url上加两个参数，jsoncallback=X...

erlang和haskell

3年前学haskell，完全是因为pugs是用haskell写的。之前为了用emacs看过一些lisp的东西，函数语言也不算完全陌生。但总觉用haskell写算法实现不错，真的要用它做一个可以用的东西还是有点不太实际，总的来说只是学着玩的。而同为函数语言，erlang原本是用于电信行业，至少看得到应用，让人觉得有了那么一点不是玩的意思。和haskell比起来，erlang的语法让人觉得有些别扭，看...

erlang学习

Erlang程序设计第8章的习题：start(N,M) -> statistics(wall_clock), Pids = for(1,N,fun(_X) -> spawn(fun get_msg/0) end), for(1,M,fun(X)->send_msg(Pids, "message " ++ integer_to_list(X)) end), ...

Firefox 扩展开发初试

简述 Firefox的扩展开发主要使用JavaScript。界面的制作用XUL，并且可以配合CSS使用。Mozilla的核心XPCOM——跨平台组件模型，提供了一套组件和类，用于诸如内存管理，线程，基本数据结构等，这些都可以在扩展中使用。Firefox中有Chrome的概念。Chrome 指的是应用程序窗口的内容区域之外的用户界面元素的集合，这些用户界面元素包括工具条，菜单，进度条和窗口的标题栏等...

cluster性能测试

测试环境 服务器 192.168.1.1，192.168.1.2，192.168.1.3，192.168.1.4，192.168.1.5 CPU 1～3为Intel(R) Pentium(R) D CPU 2.80GHz， 4、5为Intel(R) Xeon(R) 3040 1.86GHz 操作系统 Centos 4.4 Cluster版本 5.1.27-ndb-6.3.17-...

cluster中增加或减少数据节点

增加或减少数据节点的数量和NoOfReplicas有关，一般来说NoOfReplicas是2，那么增加或减少的数量也应该是成对的，否则要设置另外的NoOfReplicas。增减节点时需要重启整个cluster，并使用某个备份进行恢复。使用cluster自己的备份机制，备份后每个数据节点上有一组备份的文件。恢复时需要对每一组文件运行一次ndb_restore，即原来的数据节点有多少个就运行多少次，不...

Innodb_os_log_written

从 Innodb_os_log_written 可以知道 innodb 日志的写入量，从而判断 innodb_log_buffer_size 的大小是否合适，同时也可以估计出一个 log_file 大概能支持多长时间。innodb 当buffer满了，事务提交或每秒1次刷新，看哪个更早发生。...

query cache的存储方式

当查询进行时，如果设置了query cache，MySQL会把查询的结果保存在qc中。保存并不是在结果集完全得到的时候进行的，而是一边检索一边保存，MySQL每次会分配一块大小为query_cache_min_res_unit的内存用于保存结果集，当使用完之后再分配一块，所以如果结果集大于query_cache_min_res_unit会使得在一次查询中进行多次内存的分配。当最后一块分配的内存没有...

High Performance MySQL 2nd

最近在看这本书，感觉比第一版内容充实了不少，讲得也比较清晰，深入。所以虽然讲的大部分东西都知道了，还是看得很仔细。顺便把一些以前理解不完全的东西写下来，加深印象。...

使用load data infile时的字符集

在High Performance MySQL 2nd上看到，load data infile在某些MySQL的版本上不支持指定导入时的字符集。这时，MySQL假设导入文件的字符集是character_set_database，这个变量根据当前数据库指定的字符集而变化，如果没有指定当前数据库，那么它的值由character_set_server决定。因此如果load data infile不支持指...

explain的误解

发现MySQL的explain还是很有迷惑性的。看下面两个sql的explain，(i,j)是tt的主键mysql> explain select * from tt where i between 3 and 5 and j = 4\G*************************** 1. row *************************** id: 1 ...

如何编写MySQL的全文索引插件

说明 在MySQL5.1中可以为全文索引编写插件。插件的作用是代替MySQL内部的分词模块。 我们知道MySQL自带的分词只是通过空格和控制符将词分开，对于英语来说，可以通过这种方式分词，但中文是没有空格的，所以MySQL本身的全文索引不支持中文。 我们可以通过全文索引分词插件的方式让MySQL可以对中文分词，从而使得MySQL的全文索引支持中文。 设置了MySQL的插件之后，当我们插入或者更...

MySQL全文检索插件

hightman实现了一个MySQL全文检索的插件。它只能使用在5.1.11-12，并且需要更改MySQL的源码，故对其做了一些修改，替换了一个MySQL后续版本中更改了的接口，去掉了一些不需要的功能。 hightman的插件使用了自己的wordlist和stopword list，并使用正向最大匹配分词，新的插件对算法没有任何改变。插件只支持utf8，就是说用于建索引的字段的字符集必须为utf...

设置MySQL使用大内存页面

一般情况下使用的内存为每页4K，使用 huge page 的话默认是每页 2M。如果设置MySQL使用 huge page 至少有两个好处，一个是可以减少 Translation Lookaside Buffer (TLB) 失误以提高性能，另一个是利用 huge page不会swap的特性保证MySQL的内存不会被交换到swap中。MySQL 5.0.3之后在linux上支持huge page，...

禁用一个用户

临时的禁用一个用户在MySQL中是不支持，不过还是有一些办法可以实现。MySQL是支持SSL连接的，可以设置希望禁用用户的SSL连接使得该用户无法再连上。比如把ssl_type从空字符串设为X509。...

取随机记录

set @a:=N+1, @b:=-1;select * from t, (select id from t where if(rand()*(M - (@b:=@b+1)) < @a, @a:=@a-1, 0) limit 10 ) as tt where t.id = tt.id; 其中M是表的行数，这比order by rand() limit N将会快很多，而且...

replication的错误

昨天replication又出问题了。master上更改了max_allowed_packet，但slave上的忘记改了，结果导致master上过大的SQLslave不能取到。之后虽然在slave上也更改了max_allowed_packet，但start slave仍然不能成功。错误日志中的记录是：080409 18:37:31 [Note] Slave I/O thread exiting, ...

免费的flash图表

看这个：http://tutorialblog.org/free-chart-and-graph-solutions/ Charts and graphs help the user to visualise data in a more meaningfull way than rows of text statistics. They are extensively used in ...

max函数的缺陷

当使用enum或set类型时，order by是使用它们的内部整值来排序的，但是并不是所有的操作都是基于内部值得。max和min函数使用的是它们的字符串值来比较的，有点意外，不是吗？...

查询返回的默认顺序

按照sql标准，select如果不加order by子句，返回结果的顺序是不可靠的。 如果你希望保证顺序，必须要加上order by子句。 见下面的例子： innodb的情况 [email protected]>CREATE TABLE t ( -> ID INT NOT NULL PRIMARY KEY, -> PID INT, -> FOREI...

dev认证

上月通过了MySQL的dev认证，果然还是寄来了个飞镖，只是从十字镖换成了三角镖。MySQL从2月18日起提高了中国的认证考试价格，一个认证从100美元跳到了400美元。质的飞跃啊！严重影响了我们的培训计划，送考试券促销完全不可行了。...

information_schema的插件

在MySQL5.1中可以自己编写information_schema的插件，用于得到一些服务器的内部信息，这里提供了一个简单的例子，是显示会话的savepoint的。虽然他说会增加显示临时表的插件，但我实在不想等了，于是也照葫芦画了一个。mysql >create temporary table a (a int); create temporary table b (b int); sel...

不同语言使用MySQL的性能比较

应某人要求比较了用C（gcc 3.4.6），Java（1.6），Perl（5.8），PHP（4）连接数据库并处理查询的性能。 C使用的是MySQL的C API，JAVA使用的是MySQL的Connector/J，Perl使用的是DBD::mysql，PHP使用的是mysql库。比较了连接的速度，结果集很小的查询的速度（select 'a'）和结果集较大的查询的速度（select * from us...

drbd性能测试

一直想做drbd的性能测试，但一直没有时间，其中等买千兆的网线还等了一个星期。拖拖拉拉弄了一个多月，终于有了结果。使用的drbd版本是0.7.24。拷贝一个612M的目录，所需时间如下： fromto normal drbd normal 25s 33s drbd 28s 38s 拷贝10000个16K的文件 fromto normal drbd ...

explain的extended选项

MySQL的explain命令有一个extended选项，我想可以很多人都没有注意，因为它对命令的输出结果没有任何改变，只是增加了一个warning。这个warning中显示了MySQL对SQL的解释，从这个解释中我们可以看到SQL的执行方式，对于分析SQL还是很有用的。比如：mysql>explain extended select * from t where a in (select ...

用连接改写子查询

由于在MySQL中对子查询的优化不如连接，所以通常连接的速度会比子查询快，我们可以通过把子查询改写成连接来优化查询。改写的方法可以见：http://dev.mysql.com/doc/refman/4.1/en/rewriting-subqueries.html因为5.0开始支持子查询，所以这一节在新的手册中被删除了，必须要看4.1的手册。...

soliddb

soliddb是一个第三方的MySQL存储引擎，看到它网站上的测试报告说soliddb的数据扩展性，CPU扩展性和事务响应时间都比innodb强。于是自己下载了做了一些测试，也希望以后能用。结果发现结果很不好，批量插入的速度是innodb的一半，一个简单的select count(*)也比innodb慢一倍。大致看了一遍手册，觉得性能相关的参数主要就是soliddb_durability_leve...

MySQL的字符集错误

在使用字符集的时候有三个部分：1. 服务器上使用的字符集，是我们在表定义时使用 default charset 指定的字符集2. 连接使用的字符集，一般用 set names 指定3. 客户端使用的字符集，插入记录时记录的字符集如果不在乎汉字在数据库中怎么保存，那么只需要保证1，2一致，然后写入和读取的3都一样，在使用时就不会有乱码了，即使在数据库中保存的内容实际和指定的字符集不一样。这就是为什么...

在MySQL中使用memcached

这里提供了一组MySQL的UDF函数，可以直接在SQL中操作memcached。安装比较简单，需要安装libmemcached-0.12.tar.gz，然后安装memcached_functions_mysql-0.1.tar.gz就可以了。它的帮助文件中提供了使用方法。只是需要设置LD_LIBRARY_PATH，重启MySQL后，在定义函数时才能找到对应的so文件。[email protected]&...

MySQL认证

通过了MySQL的DBA认证，还是挺容易的。今天证书终于寄到了，比较搞笑的是，居然还寄来了一个玩具十字镖。是建议DBA多多放松吗？

EverNote限时免费

evernote是一个记笔记的软件，看了不少它的介绍，感觉还不错了，除了对中文的支持还不算完美。原价$49.95，但今天是免费的。http://www.giveawayoftheday.com/evernote/...

为输出添加颜色

$str = "TAKE CARE";if(-t STDOUT){ print "\e[1;31m$str\e[0m\n";} else { print "$str\n";}-t 是判断输出是不是tty，如果是的则输出颜色信息，如果不是，比如在STDOUT被重定向到文件时则不加颜色信息。...

把中文按读音转成字母

因为在url中使用中文有时候会很麻烦，今天就遇到了。所以会想把中文转成拼音，这样就不会出现问题了，就像很多blog的程序生成文章的链接时会只取标题中的英文。很久以前就看到过这样一个模块，就是想不起来名字了，在CPAN找到半天，终于还是找到了：Text::Unidecode。use utf8;use Text::Unidecode;print unidecode("你好");# That print...

使用Devel::Size查看变量占用内存

在“mastering perl”上看到一个有用的模块：Devel::Size。可以用来查看变量的大小，以后不用靠free来猜到底用了多少内存了。

Nerd

使用XML::Parser的乱码问题

目前使用XML::Parser解析XML文件的时候，它会把读入的字符设成utf8的（perl内部的utf8 flag设成on），可能导致之后的处理中出现乱码。可以把读出的字符用_utf8_off或encode转一遍去掉utf8 flag以解决乱码问题。...

批量update

我们都知道在MySQL中批量insert的速度会比一条条insert快很多。类似的，update也应该是如此，但因为update的值往往因为条件的不同而不同，只能分开做。但是在下面的情况下，批量的update是可以做到的。1. 查询的条件中有主键或唯一键2. 查询的条件是等于，而不是范围。这实际上包含了1的情况在1的情况下，可以使用replace 或者 insert into ... values...