爬虫
文章平均质量分 59
midle110
人生就是在不断的感悟中成长
展开
-
libcurl post数据
libcurl post数据原创 2013-09-24 10:39:51 · 2725 阅读 · 0 评论 -
tcmalloc编译
linux环境:1.下载地址:http://code.google.com/p/gperftools/downloads/list2. 解压:sudo tar -zxvf ******.tar.gz 3. 安装组件 sudo ./configure 4. 安装 sudo make&&make installwindows环境:直接打开工程,编译。使用的时候改动原创 2014-02-14 14:35:36 · 2041 阅读 · 0 评论 -
mysql c api简单连接池
连接池为了解决频繁的创建、销毁所带来的系统开销。简而言之,就是 自己先创建一定量的连接,然后在需要的时候取出一条连接使用。当然如果你只有一个线程连接数据库,而且不是实时返回结果,那么你完全不必用连接池。想一下网络大型游戏服务器,你就明白为什么需要连接池了。自己敲代码写了一个简单的类,实现连接池,虽然没有mysql++那么强大,但是还是自己有收获。Csqlpool.h 头原创 2014-02-20 17:32:46 · 5618 阅读 · 4 评论 -
linux下远程访问Mysql
第一步: 激活网络设置你需要编辑mysql配置文件my.cnf.通常状况,my.cnf放置于在以下目录:/etc/mysql/my.cnf (Debian linux)/etc/my.cnf (Red Hat Linux/Fedora Linux)/var/db/mysql/my.cnf (FreeBSD)然后用vi编辑my.cnf,修改内容从以下行:[mysqld]转载 2015-06-08 21:45:46 · 627 阅读 · 0 评论 -
gbk转utf-8 iconv 编码转换
linux下面有时候 字符需要进行编码转换(爬虫将gbk转为utf-8编码...),一般可以选择iconv函数。终端下面 输入 man 3 iconv得到 iconv函数的使用方法。个人看习惯了,msdn文档之后感觉linux下面的文档的看的不是那么爽了。使用iconv函数进行转码,一般使用三个函数:iconv_open 、 iconv 、iconv_close三原创 2015-07-18 21:57:26 · 5155 阅读 · 0 评论 -
树莓派、debian 下安装 phantomjs casperjs
phantomjs简介phantomjs实现了一个无界面的webkit浏览器。虽然没有界面,但dom渲染、js运行、网络访问、canvas/svg绘制等功能都很完备,在页面抓取、页面输出、自动化测试等方面有广泛的应用。对于深层ajax网站的爬虫,phantomjs这种无界面浏览器简直就是这种网站的杀手,虽然效率远非curl ,但结果是妥妥的, 有时候分析js代码实在是头疼。1.原创 2015-12-16 20:31:57 · 3714 阅读 · 0 评论