2016年01月_windmissing

12月 11月 10月 07月 03月 01月

原创 spider/pyspider基础

一、爬虫的基本思路（以下内容选自《知乎》）链接：http://www.zhihu.com/question/20899988/answer/24923424 想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。在人民日报的首页，你看到

2016-01-27 21:14:20 3943 1

在《本地搭建ELK系统》中，在本地搭建了一个非常简单的ELK系统。其中logstash从本地日志文件中读取信息并交给elasticsearch。然而直接把原始未加工的日志交给elasticsearch没有什么意义。logstash还有一个重要的工作就是解析日志。把解析出来的关键字与日志本身共同交给elasticsearch，elasticsearch才能很好地建立日志索引。logstash支持多种解

2016-01-24 11:51:39 18949

原创本地搭建ELK系统

ELK系统主要由三部分组成，分别是elasticsearch、logstash、kibana。ELK系统收到推送过来的日志后，首先由logstash解析日志中的字段，分解成一个一个的关键字。elasticsearch将关键字与日志信息关联起来，以一种特定的格式化方式存储数据到硬盘。kibana提供与用户的交互界面，根据用户需求，从elasticsearch中读取信息并在网页上显示。本文以Redhat

2016-01-24 11:39:43 3332 1

原创 linux中内存泄漏的检测（五）记录内存泄漏的代码

到目前为止，先后通过wrap malloc、new函数重载和计算指针内存大小的方法，基本上满足了对内存泄漏检测的需要。如果发现了内存泄漏，那么就要找到内存泄漏的地方并且修正它了。茫茫代码，如何去找？如果能根据未释放的内存找到申请它的地方就好了。我们今天就是要做这个事情。想要根据内存地址查出申请者的信息，那么在一开始申请的时候就要建立地址与申请者之间的映射。1.内存地址内存地址，是一个unsigned

2016-01-23 10:45:10 3158

原创 linux中内存泄漏的检测（四）记录泄漏的大小

《linux中内存泄漏的检测（三）定制化的new/delete》讲到，利用C++的函数重载的特性，使C++的代码，也能方便地为new/delete加上用于检测内存泄漏的统计代码。然而，也因此引入的新的问题。目前的统计方式仅仅统计申请/释放内存的次数，并没有统计每次申请/释放内存的大小。这种方法对于C来说是够用了，因为在C中申请和释放的大小是相同的，而在C++中就不一定了。考虑以下两种情况：（

2016-01-23 10:42:16 4254 1

原创 linux中内存泄漏的检测（三）定制化的new/delete

《linux中内存泄漏的检测（二）定制化的malloc/free》中的__wrap方法只解决了C的问题，这一节介绍怎么让C++中的new/delete也能方便地插入计数代码。wrap方法尝试可不可以使用__wrap_new/__wrap_delete?我们试试看。我写了这样的测试代码#include <iostream>using namespace std;int count = 0;void

2016-01-21 09:14:59 2963

原创 linux中内存泄漏的检测（二）定制化的malloc/free

《linux中内存泄漏的检测（一）最简单的方法》介绍了最简单的内存泄漏检测方法，这种方法虽然简单，却有很多现实的问题，导致它不能用于实际的生产中。直接使用这种方法肯定是不现实的，因为：（1）把整个工程里所有调用malloc/free的地方都改成my_malloc/my_free，代码改动很大。（2）通常动态库和静态库的代码是没有权限修改的。今天就来解决这个问题，动态地决定让程序使用自己的还是系统的内

2016-01-21 09:13:46 5526 2

原创 linux中内存泄漏的检测（一）最简单的方法

什么是内存泄漏内存泄漏是指程序动态申请的内存在使用完后没有释放，导致这段内存不能被操作系统回收再利用。例如这段程序，申请了4个字节的空间但没有释放，有4个字节的内存泄漏。#include <iostream>using namespace std;int main(){ int *p = new int(1); cout <<*p<<endl; return 0

2016-01-21 09:12:36 10162 1

原创使用Python处理目录（二）:计算某个目录下特定文件类型中文件总行数

计算某个目录下特定文件的行数，从文件中读入配置参数，计算结果输出到文件指定文件：该功能是基于第一篇系列文章《打印目录下的文件名》的基础上加以修改得到的，主要的逻辑是遍历目录下的文件，然后读取文件中的内容，计算行数。为了方便修改配置，本文中的代码所需要的配置都是从文件中读取的。FilePath标识文件路径，patterns， single_level同第一篇文章中的功能一样。exceptFile指

2016-01-19 18:35:49 1784

原创使用Python处理目录（一）:打印目录下的文件名

要想遍历某一目录下的文件名，使用os.walk再方便不过了。他返回的是一个以元组为元素的列表。每一个元素都包含三个内容：路径，该路径下的子目录，该路径下的文件。os.walk使用了生成器技术（关于该技术的说明请参考其它文档或者技术资料）yield,给使用者带来了非常大的使用上的灵活性。由于生成器技术使得会函数walk的调用一次只返回一个元组，节省了内存空间，提升了执行效率。比如使用者只想得到当前目录

2016-01-19 18:29:00 7715