- 博客(19)
- 资源 (9)
- 收藏
- 关注
原创 高可用分布式代理池:架构篇
历时大致两个月,到现在终于完成了分布式代理抓取爬虫,目前开源在了Github上。写这个项目的原因主要有两点,一是自己平时的部分工作需要和爬虫打交道,代理IP在有的时候可以发挥非常重要的作用,调研过一些开源的代理IP采集程序,发现在抓取、解析、校验、资源调度等这些方面总有一些不尽人意的地方;二是和一个网友(不严格的说算得上是伯乐)的交流让我有了关于使用Scrapy来写分布式爬虫的一些想法,正好可以借...
2018-03-06 14:12:52
1032
原创 如何构建一个分布式爬虫:理论篇
前言本系列文章计划分三个章节进行讲述,分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识,基础篇会基于理论篇的知识写一个简易的分布式爬虫,实战篇则会以微博为例,教大家做一个比较完整且足够健壮的分布式微博爬虫。通过这三篇文章,希望大家能掌握如何构建一个分布式爬虫的方法;能举一反三,将celery用于除爬虫外的其它场景。目前基本上的博客都是教大家使用scrapyd或者scrapy-
2017-05-22 09:28:37
2463
原创 jquery中get和find方法区别,对象与标签元素的互换
jquery的对象和dom元素的互换,jquery中get()和find()方法的区别
2015-07-02 13:52:52
2744
原创 linux下面php文件和文件夹的创建及读写问题
对于我这种菜鸟来说,linux系统的权限问题总是令人蛋疼,今天在写一个关于php文件操作的程序的时候,遇到了这样一个问题,在用php读写指定文件的时候,提示没有权限,然后我打开utuntu命令终端,用指定命令(chmod 777 filename)改了要读写文件的权限级别,终于可以进行读写了.php在调用fopen()函数的时候,如果没有指定的文件,那么就将创建一个文件,但是当我这样做的时候,又遇
2015-04-24 14:58:07
6023
原创 wampp for linux 的mysql密码修改和字符编码的设置
折腾了半天的wampp for linux 了,最先是mysql默认密码的修改,因为原始的默认密码为空,用起来总不舒服,后来就想到把mysql的默认密码改了,步骤如下:先改掉mysql的默认密码.然后再在配置文件里改掉phpMyadmin里面的文件.具体步骤如下:先进入phpMyadmin,然后写一个sql语句修改mysql默认密码:update user set password=pas
2015-04-06 23:30:57
568
原创 hibernate中could not resolve property和is not mapped的问题
最近在学ssh,遇到了一些问题,这里我记录两个关于hibernate的问题。is not mapped表示映射出了错,在我写的删除语句:"from Role_right rr where rr.role_id = "+roleId,其中的role_right是数据库的表名,role_id是该表的一个字段名。我的相应配置文件代码是这样的:RoleRight" table="role_righ
2015-03-25 00:11:33
726
原创 myeclipse在编写代码出现黄线的问题
在用MyEclipse或Eclipse进行代码编写的时候,代码下边老是会弹出黄色的波浪线提醒你拼写有错误,其实有的时候并没有语法错误而只是myeclipse没识别而已,看起来很不舒服。后来就想把黄线给去掉,于是捣鼓了一阵,还是把烦人的黄线给去掉了。首先,打开window,选中preferences,在General里面选中Editors,然后选中Text Editors,展开其中的选项,有一个
2015-01-15 13:42:32
4820
原创 j2se bufferedwriter问题
这几天做编译原理一个练习题,需要用到文件读写的知识。费了好大力气才把文本指定的各种单词转化为了大写,然后在写入文件的时候又出现了新问题,因为我写文件的时候用的bufferedwriter,首先遇到了两个问题,把指定内容写入了文本文档,却发现文本没有换行,而原文件是有换行的;而且写中文的时候会出现乱码。后来通过各种搜索还有自己的尝试,把这两个问题解决了。第一个我在写的时候用bw.write(10)或
2014-12-27 14:49:25
508
转载 数据库三范式详解
最近复习数据库,查了不少资料,这里有一篇写的很好的数据库文章,我把它搬过来作为参考:设计范式(范式,数据库设计范式,数据库的设计范式)是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中,这种规则就是范式。关系数据库中的关系必须满足一定的要求,即满足不同的范式。目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、第四范式(4NF)、第
2014-12-27 12:33:23
472
原创 mysql jdbc 更新数据
今天忙了大半天,在更新string类型字段的时候老是提示语法出错,因为mysql的更新语法是 update 表名 set 列名 = '列值' where 语句。这里自己脑袋不开翘啊,就被一个‘’ 难住了,因为列值是一个变量值,用的函数返回值表示的(我写的为String nname = request.getParameter("nname");String name = request.getPa
2014-12-17 16:39:55
1098
原创 myeclipse以debug方式启动tomcat问题
Myeclipse以debug方式启动tomcat,我遇到过两个问题,这里把它们记录下来,希望可以帮到有相同困扰的朋友。第一个问题是,当我用myeclipse2014以debug方式启动tomcat8.x的时候,它老是进入调试那个界面,而且用浏览器不能访问自己的webapps。后来在网上找了一下方法,可以解决:点击window->preferences->tomcat->tomcat8.x(不一定
2014-12-15 18:44:27
2612
原创 C语言指针传递与值传递
一年以前,开始学编程语言,从c语言学起,记得刚学指针的时候,很是头痛,其中印象最深的一点就是指针传递和值传递的区别:最典型的例子就是swap()函数(具体函数就不写了),当时就在想为什么swap(int i,int j)不能交换两个整数,而要用swap(int * p,int* q),当时觉得难以理解,后来多看了一些书过后就渐渐明白传地址和传值的区别了,就这个例子而言,比如定义了两个变量 m和n,
2014-12-11 21:46:44
654
2014年十月BAT,华为小米搜狗,谷歌等各大IT公司最新面试题及答案
2014-12-27
python核心编程第二版中、英文版对照及习题答案
2014-10-21
win8.1上用虚拟机装苹果系统
2014-10-21
c++primer第五版中文版练习题答案
2014-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人