- 博客(7)
- 资源 (16)
- 收藏
- 关注
原创 php实现Bloom Filter
Bloom Filter(BF) 是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法,用于**快速**查找某个元素是否属于集合, 但不要求百分百的准确率。 Bloom filter通常用于爬虫的url去重,即判断某个url是否已经被爬过。 看过几个php实现的BF,都觉得可读性不是很强, 本文主要给出我对Bloom Filter的一个php实现。
2015-07-24 19:20:15 13610 3
原创 php如何显示错误信息
php默认不打印错误,如需打印,vi $PHP_HOME/etc/php.ini, 修改以下几项:display_errors = Onerror_reporting = E_ALL & ~E_NOTICE如果有设error_log变量,注释掉输出到error_log这句话就可以将错误直接显示在terminal了然后重启php:$PHP_HOME/sbin/php-fpm start
2015-07-24 12:56:22 16040 2
原创 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)
python的编码问题一直是头痛,比如matplotlib画图只接受utf-8编码,如果没有设置就会在画图时报错。 有时间整整这个python编码;如标题所示,解决方案:加入import sysreload(sys)sys.setdefaultencoding("utf-8")
2015-07-23 14:14:58 16178 1
原创 shell 例程 —— 解决redis读取稳定性
问题背景: php读取线上redis数据,经常不稳定,数据响应时有时无。 解决方法:多次读取,每次读取所有上一次没读出的数据,直到全部获取。本文实现用shell进行多次redis数据读取, 每次取出其中的有效值(对于我们的例子中,就是给key,能在redis上取得其value的为有效值,其他无效),并将无效值重跑一遍,以此迭代,直到所有redis数据被取出。PS:redis数据可以由php或
2015-07-22 13:41:07 14097
转载 Linux下批量删除空文件
Linux下批量删除空文件(大小等于0的文件)的方法find . -name "*" -type f -size 0c | xargs -n 1 rm -f用这个还可以删除指定大小的文件,只要修改对应的 -size 参数就行,例如:find . -name "*" -type f -size 1024c | xargs -n 1 rm -f就是删除1k大小的文件。(但注意 不要用 -size 1k
2015-07-13 12:27:31 18215 1
原创 匹配不包含指定中文字符的行
上一篇利用正则表达式匹配不包含某些指定字符的只是动动脑机,回忆一下正则表达式, 但是遇到了中文,一来编码问题不方便, 二来容易考虑问题有漏洞。 如果我们想实现匹配不包含某些字符串的功能, 还是用shell脚本比较安全。如下面这段代码实现匹配所有不含“登录”和“注册”的行。其中, “=~”表示包含。str="登录|注册"while read line; do if [[ ! $line =~
2015-07-09 21:45:26 10525
转载 利用正则表达式排除特定字符串
本文转载自:http://www.cnblogs.com/wangqiguo/archive/2012/05/08/2486548.html查找不以baidu开头的字符串baidu.comsina.com.cn正则:^(?!baidu).*$ 匹配结果就是第2行,也就是第1行被排除了这里使用了零宽度断言(?!exp),注意,我们有一个向前查找的语法(也叫顺序环视) (?=exp)(?=exp)
2015-07-09 20:39:44 15798
LR_Mnist.py
2015-01-07
deep learning 概览+时序模型
2014-05-29
Convolution Neural Network (CNN)
2014-05-15
人脸检测与识别
2014-03-16
决策树python实现
2014-03-10
KMeans和Kmedoid算法的matlab实现
2012-11-18
C++矩阵处理工具——Eigen3
2012-07-24
Difference of Gaussian DoG
2012-06-09
动态规划基础(初学者必读)
2009-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人