xiaoqi030611a-CSDN博客

转载 Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器库

曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝大部分工作交给了Python。这些年来，接触和使用了很多Python工具包，特别是在文本处理，科学计算，机器学习和数据挖掘领域，有很多很多优秀的Py

2015-12-02 21:23:37 782

原创 Vim自动补全神器–YouCompleteMe

1. 安装必要组件sudo apt-get install libncurses5-dev libgnome2-dev libgnomeui-dev \ libgtk2.0-dev libatk1.0-dev libbonoboui2-dev \ libcairo2-dev libx11-dev libxpm-dev libxt-dev \ python-dev

2015-07-31 08:01:47 835

转载 Struts2拦截器实现异常处理机制

Struts2拦截器实现异常处理机制在j2ee项目中，系统内部难免会出现一些异常，如果把异常放任不管直接打印到浏览器可能会让用户感觉莫名其妙，也有可能让某些用户找到破解系统的方法。所以不要在页面上输出错误信息，使用log日志的方式处理异常并记录异常。就拿struts2+hibernate+spring项目说明：通常一个页面请求到后台以后，首先是到action（也就是所谓mvc

2015-07-12 11:11:04 575

原创 linux下安装sublime并配置运行python

sublime本身是不具备运行python程序的能力的，需要做些设置才可以。以下是安装好sublime后设置的步骤：点击“Preference”-----》“Browse Packages”----------》“python”，编辑Python.sublime-build文件，添加python应用程序的路径，我的是安装到了c:\Python27路径中：{ "cmd":[

2015-01-21 22:05:11 3460

转载 Android组件及UI框架大全

Android 是目前最流行的移动操作系统(还需要加之一吗？)。随着新版本的不断发布， Android的功能也日益强大，涌现了很多流行的应用程序，也催生了一大批的优秀的组件。本文试图将目前流行的组件收集起来以供参考，如果你发现本文还没有列出的组件，欢迎在评论中贴出来，我会定期的更新本文。很好的中文教程Google Android官方培训课程中文版awes

2014-11-30 21:27:38 599

原创 python实现生成二维码图片

python生成二维码：qrcode库pip install qrcode 或easyinstall.exe qrcode代码实现：#!/usr/bin/python#coding:utf-8#####author sevenqi#date 20141125#功能生成一个二维码图片,返回二维码图片的路径#####import qrcod

2014-11-27 23:58:07 2145

转载 protobuf 格式

2014-11-07 09:35:13 718

转载详解python多线程无法增加cpu使用率

原文地址：http://my.oschina.net/u/240562/blog/136651GIL 与 Python 线程的纠葛GIL 是什么东西？它对我们的 python 程序会产生什么样的影响？我们先来看一个问题。运行下面这段 python 程序，CPU 占用率是多少？请勿在工作中模仿，危险:)def dead_loop():?

2014-11-04 15:38:51 4519 1

原创 nginx源码学习----内存池

1、基本结构先来学习一下nginx内存池的几个主要数据结构：[见：./src/core/ngx_palloc.h/.c] ngx_pool_data_t（内存池数据块结构） 1: typedef struct { 2: u_char *last; 3: u_char *en

2014-11-02 14:08:14 408

原创【Boost】boost::shared_from_this值得注意的地方

shared_from_this()在一个类中需要传递类对象本身shared_ptr的地方使用shared_from_this函数来获得指向自身的shared_ptr，它是enable_shared_from_this的成员函数，返回shared_ptr。首先需要注意的是：这个函数仅在shared_ptr的构造函数被调用之后才能使用。原因是enable_shared_from_this::we

2014-11-02 11:35:49 457

转载网络编程--IP帮助函数

一.GetNetworkParams获取本地电脑的网络参数获取一个FIXED_INFO的结构体 typedef struct { char HostName[MAX_HOSTNAME_LEN + 4] ; char DomainName[MAX_DOMAIN_NAME_LEN + 4]; PIP_ADDR_STRING CurrentDnsServer;

2014-10-09 11:13:09 629

转载 linux OOM-killer机制（杀掉进程，释放内存）

Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后

2014-10-05 15:31:47 1368

转载检测当前是否联网

一、尝试进行网络连接　　要用的函数：InternetAttemptConnect　　函数原形：DWORD InternetAttemptConnect(DWORD dwREserved);　　这个函数可以说非常简单，只是尝试计算机连接到网络。并不考虑是用什么方式连接。当成功连接到网络的时候，函数返回ERROR_SUCCESS，也就是0。函数的参数永远都是0。有一点需要注意的是，当计算

2014-09-30 14:26:32 558

转载 Nginx/LVS/HAProxy负载均衡软件的优缺点详解

一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。一种是通过硬件来进行进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点

2014-09-24 00:04:02 463

转载 Nginx配置文件nginx.conf中文详解

2014-09-23 23:57:49 310

转载 NSIS脚本文件格式

4.1 脚本文件格式一个 NSIS 脚本文件 (.nsi) 就是一个包含了脚本代码的文本文件。命令命令行的格式为: '命令 [参数]'File "myfile"注释以 ; 或 # 作为开始的行为注释。你可以在命令后面添加注释。你也可以使用 C 规范的注释来注释一行或多行。; 注释# 注释# 注释 \ 另一个注释行 (查看本节下面的 `

2014-09-19 19:54:34 5523 1

转载创建project property sheet（.vsprops）减少工程设置错误和重复设置

举个例子，我最近在学习libevent代码，想在windows下跑一些例子，我编译了libevent生成了libevent.lib文件，那我这些例子要编译-->运行的时候，必须把libevent.lib和ws2_32.lib加到工程的“Add Dependencies”中，一个例子还好说，如果10几个例子，每个小例子一个工程，那就要加10几遍，而且要考虑到debug和release的区别...

2014-08-11 09:49:02 543

转载 windbg 常用命令详解

一、1、 !address eax查看对应内存页的属性 2、 vertarget显示当前进程的大致信息3 !peb显示process Environment Block 4、 lmvm可以查看任意一个dll的详细信息例如：我们查看cyusb.sys的信息5.re

2014-08-01 16:23:16 891

转载 HTTP POST GET详解

一原理区别一般在浏览器中输入网址访问资源都是通过GET方式；在FORM提交中，可以通过Method指定提交方式为GET或者POST，默认为GET提交Http定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETEURL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HT

2014-07-14 18:00:07 400

原创 vs2012下配置boost

1.http://www.boost.org/ 下载boost2.

2014-07-03 08:57:53 465

原创 Redis源码剖析

源码文件简介文件功能备注adlist.h/adlist.c双向链表 ae.h/ae.c事件驱动 ae_epoll.cepoll接口,Linux下的IO接口

2014-06-29 15:38:12 1596

转载 linux-wget详细介绍

wget的使用形式是： wget [参数列表] URL首先来介绍一下wget的主要参数：· -b：让wget在后台运行，记录文件写在当前目录下”wget-log”文件中；· -t [nuber of times]：尝试次数，当wget无法与服务器建立连接时，尝试连接多少次。比如”-t 120″表示尝试120次。当这一项为”0″的时候，指定尝试无穷多次直到连接成功为止，这个设置非

2014-05-16 12:18:26 589

转载尝试在C++里实现 Java 的 synchronized 关键字

话说Java里有个很强大的关键字叫synchronized，可以方便的实现线程同步。下面来尝试下在C++里模拟一个类似的。　　Java里的synchronized有两种形式，一种是基于函数的，另种则是语块的。前者受C++的语法所限，估计是没法实现了，所以就尝试后者。　　块级语法很简单：123synchronized(syncO

2014-04-03 15:55:47 1004

转载 Linux tcpdump命令详解

简介用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。实用命令实例默认启动tc

2014-04-02 10:17:51 418

转载 C++笔记（1）explicit构造函数

按照默认规定，只有一个参数的构造函数也定义了一个隐式转换，将该构造函数对应数据类型的数据转换为该类对象，如下面所示：class String {String ( const char* p ); // 用C风格的字符串p作为初始化值//…}String s1 = “hello”; //OK 隐式转换，等价于String s1 = String（“hello”

2014-02-15 13:20:22 360

转载十步完全理解SQL

很多程序员视 SQL 为洪水猛兽。SQL 是一种为数不多的声明性语言，它的运行方式完全不同于我们所熟知的命令行语言、面向对象的程序语言、甚至是函数语言（尽管有些人认为 SQL 语言也是一种函数式语言）。我们每天都在写 SQL 并且应用在开源软件 jOOQ 中。于是我想把 SQL 之美介绍给那些仍然对它头疼不已的朋友，所以本文是为了以下读者而特地编写的：1、在工作中会用到 SQL

2014-01-16 11:36:08 573

转载 Emmet高效开发web前端代码

Emmet插件以前被称作为Zen Coding，是一个文本编辑器的插件，它可以帮助您快速编写HTML和CSS代码，从而加速Web前端开发。早在2009年，Sergey Chikuyonok写过一篇文章，提出编写HTML和CSS的新方法。这一革命性的插件指的就是Zen Coding，经过很多开发者多年来的努力与帮助，现在已达到了一个新的水平。也就是今天所说的Emment插件。在这篇文

2014-01-16 11:27:05 639

转载 MySql:查询缓存机制

对于很多的数据库系统都能够缓存执行计划，对于完全相同的sql, 可以使用已经已经存在的执行计划，从而跳过解析和生成执行计划的过程。MYSQL以及Oracle提供了更为高级的查询结果缓存功能，对于完全相同的SQL (字符串完全相同且大小写敏感) 可以执行返回查询结果。本文主要介绍MYSQL 查询缓存的一些特性，Oracle query cache可以参考http://www.oracle.com/t

2014-01-04 19:16:37 582

原创 ImportError: No module named Image IOError: decoder zip not available

IOError: decoder zip not available使用python来处理图片是非常方便的，下面提供一小段python处理图片的代码，需要安装图像处理工具包PIL(Python Image Library)。123456789101112

2014-01-04 17:37:36 7728

转载 PIL 中的 Image 模块

Image 模块提供了一个同名类（Image），也提供了一些工厂函数，包括从文件中载入图片和创建新图片。例如，以下的脚本先载入一幅图片，将它旋转 45 度角，并显示出来：1 >>>from PIL import Image2 >>>im = Image.open("j.jpg")3 >>>im.rotate(45).show() 下面这个脚本则创建了当前目录下所有

2014-01-04 14:09:46 834

转载 SELECT INTO 和 INSERT INTO SELECT 两种表复制语句

Insert是T-sql中常用语句，Insert INTO table(field1,field2,...) values(value1,value2,...)这种形式的在应用程序开发中必不可少。但我们在开发、测试过程中，经常会遇到需要表复制的情况，如将一个table1的数据的部分字段复制到table2中，或者将整个table1复制到table2中，这时候我们就要使用SELECT INTO 和 I

2014-01-02 19:24:40 365

转载 zookeeper-3.4.5集群的配置

1 、服务器介绍三台服务器分别是 server1 server2 server3其中Hadoop 的NameNode 部署在 Master.Hadoop上使用的 hadoop用户2、下载对应版本的zookeeper官网下载3、配置zoo.cfga) cp zoo_sample.cfg zoo.cfgb) 修

2013-12-31 15:12:12 646

转载 pymongo的group操作

mongodb的group操作是将某个键值作为map的分组依据，然后每个分组的数据再通过reduce函数依次处理。其实group操作就是mapreduce的一个子集。下面是函数原型：group(key, condition, initial, reduce, finalize=None)key是需要分组的键，可以是listcondition是

2013-12-29 22:45:46 2762

转载 Linux + Nginx + Django + FastCGI

前提条件已安装好Ngin、Django在开始使用 FastCGI 前需要安装flup 库文件，下载地址如下：[root@rh-linux software]# wget http://www.saddi.com/software/flup/dist/flup-1.0.2.tar.gz[root@rh-linux software]# tar -xzvf flup-1

2013-12-29 16:59:08 539

原创 INSERT语句的速度

插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：(3)发送查询给服务器：(2)分析查询：(2)插入记录：（1x记录大小）插入索引：（1x索引）关闭：(1)这不考虑打开表的初始开销，每个并发运行的查询打开。表的大小以logN (B树)的速度减慢索引的插入。加快插入的一些方法：· 如果同时从同一个客户端插入很多行，使用含多个VALUE的INS

2013-12-08 14:21:31 522

原创 MySQL如何优化LIMIT

在一些情况中，当你使用LIMIT row_count而不使用HAVING时，MySQL将以不同方式处理查询。· 如果你用LIMIT只选择一些行，当MySQL选择做完整的表扫描时，它将在一些情况下使用索引。· 如果你使用LIMIT row_count与ORDER BY，MySQL一旦找到了排序结果的第一个row_count行，将结束排序而不是排序整个表。如果使

2013-12-08 14:03:46 558

转载 MySQL GROUP BY 操作的优化

MySQL GROUP BY 操作的优化默认情况下， MySQL 在执行 GROUP BY col1 ， col2.... 操作的时候，会按照 GROUP BY 字段的顺序进行排序。如果显式包括一个包含相同的列的 ORDER BY 子句，则对 MySQL 的实际执行性能没有什么额外的影响。如果查询包括 GROUP BY 操作，但是不需要对结果进行排序，或者对默认的排序结果不满意，希望

2013-12-08 13:54:35 970

转载 MySql中join操作

join的实现是采用Nested Loop Join算法，就是通过驱动表的结果集作为循环基础数据，然后一条一条的通过该结果集中的数据作为过滤条件到下一个表中查询数据，然后合并结果。如果有多个join，则将前面的结果集作为循环数据，再一次作为循环条件到后一个表中查询数据。具体例子可以看这里下面的例子演示了在使用join的时候，mysql利用join buffer。[s

2013-12-07 17:53:08 444

转载 MySql中explain的时候出现using filesort，优化之

在使用order by关键字的时候，如果待排序的内容不能由所使用的索引直接完成排序的话，那么mysql有可能就要进行文件排序。【这个 filesort 并不是说通过磁盘文件进行排序，而只是告诉我们进行了一个排序操作而已】。当然，using filesort不一定引起mysql的性能问题。但是如果查询次数非常多，那么每次在mysql中进行排序，还是会有影响的。此时，可以进行的优化

2013-12-07 17:52:36 897

转载 MySql的内存使用

mysql的配置参数中，有的是指明全局的内存使用大小，有的是配置单个线程的内存大小。在mysql优化几点注意中我们提到了几个全局内存使用的参数和一个bulk_insert_buffer_size线程级配置的参数。下面补充学习一下这些参数。------------------------------全局内存使用---------------------------quer

2013-12-07 17:33:10 502