爬虫技术系统性总结

准备系统地复习一遍爬虫,填填坑。

contents

  1. 1. 一:数据库的使用(mongoDB)

  2. 2. 二:python环境的安装

  3. 3. 三:PyMongo的使用

  4. 4. 四:正则表达式的应用一

  5. 5. 五:正则表达式的应用二

  6. 6. 六:网页内容解析

  7. 7. 七:网页内容选取神器XPath法

  8. 8. 八:多线程与常见算法

  9. 9. 九:动态网页的分析

  10. 10. 十:Cookie登录与post登录

  11. 11. 十一:常见反爬虫机制与应对方法

  12. 12. 十二:突破简单的验证码

  13. 12.1. 人工打码

  14. 12.2. 图象识别

  15. 13. 十三:Scrapy使用

  16. 13.1. Scrapy使用

  17. 13.2. 创建项目

  18. 13.3. 爬虫的运行

  19. 13.4. 最后来讲讲以前遗留的问题mongodb安装为windows服务

  20. 14. 十四:Scrapy与MongoDB

  21. 14.1. Scrapy的工程结构

  22. 14.2. Scrapy与MongoDB

  23. 14.3. 爬取数据

  24. 15. 十五:分布式爬虫的模型分析与创建

  25. 16. 十六:复杂的分布式爬虫

  26. 17. 十七:维护多个Session

  27. 17.1. 分布式爬虫的登录

  28. 17.2. Scrapy与Selenium

  29. 17.3. 验证码

一:数据库的使用(mongoDB)

1.什么是MongoDB?

MongoDB 是一款开源的文档数据库,并且是业内领先的 NoSQL 数据库,用 C++ 编写而成。

2.为什么要使用MongoDB数据库

MongoDB是非关系型数据库,MongoDB数据的储存形式和Python的字典非常的相似。

如下图所示:python爬虫系统学习一:数据库的使用,mongoDB

3.MongoDB 的安装

1)百度mongodb官网选择自己系统匹配的版本下载并安装

2)创建文件夹用来存放数据文件:D:\MongoDB\DB

3)在MongoDB的安装文件夹中,按住Shift键并点击鼠标右键,选择“在此处打开命令窗口”,然后输入以下代码启动MongoDB:

mongod.exe--dbpathD:\MongoDB\DB

4.图形化图形化管理工具-RoboMongo

简介:RoboMongo是一个跨平台的MongoDB管理工具。可以用来在图形界面中观察我们对MongoDB的修改是否生效。

安装以后,我们打开可以看到下图的栏目:

点击“Create”,如果MongoDB就在本地电脑上面运行,那就什么都不需要修改,直接点Save

回到图1的界面,点击“Connect”就可以联接MongoDB了。

二:python环境的安装

python安装

这里使用python2.7版本的环境

同样直接百度python官网下载自己系统对应版本的python解释器exe格式或msi格式都可以

注意:不要下载360软件管家提供的 python2.7.12rc1解释器此解释器无法使用pip安装第三方包

安装完成之后打开命令提示符 cmd 直接输入 python 如果安装成功则会出现如下提示

如果没有出现上图的提示则检查系统环境变量

参考 http://jingyan.baidu.com/article/48206aeafdcf2a216ad6b316.html

PyMongo 的简介及安装

1.什么是 PyMongo?

PyMongo模块是Python对MongoDB操作的接口包,代码主要实现对MongoDB的几种操作:增删改查以及排序等功能。

2.PyMongo 的安装

使用以下几种方法之一即可:

(1)直接使用pip 安装(推荐)

安装命令如下:

pip install pymongo 如果安装成功会显示pymongo包的版本号

(2)使用easy_install 安装

安装命令如下:

easy_install pymongo

由于众所周知的原因,pip 直接安装可能会遇到网络问题导致安装失败,因此,对于Windows下的同学,还可以访问:

http://www.lfd.uci.edu/~gohlke/pythonlibs/

在这个网站上找到pymongo,并下载whl包到本地,然后使用以下命令安装:

注意要下载与你python版本相符的pymongo包

pip install 下载下来的whl文件名

对于一些更复杂的安装情况,请访问MongoDB官网,查看完整的安装指导:

https://api.mongodb.com/python/current/installation.html

验证安装

请打开Python的交换环境,输入以下代码并回车,如果不报错,就表示安装成功:

import pymongo

PyMongo的使用

创建数据库

1

2

3

4

5

6

7

8

9

import pymongo

client = pymongo.MongoClient() 本地数据库不需要填写参数

database = client.person_info 创建名为person_info的数据库

col = database.people 在person_info数据库中创建people表

info_dict = {‘name’: ‘kingname’, ‘age’: 0, ‘sex’: ‘unknown’, ‘salary’: 888888}

col.insert(info_dict) 在表中插入数据

kingname = col.find()

for each in kingname:

print(each[‘salary’]) 查询数据

三:PyMongo的使用

导入模块

插入

MongoDB的插入操作非常简单。用到的方法为:insert(参数) ,插入的参数就是Python的字典。

1

2

data = {‘id’: 123, ‘name’: ‘ds’, ‘age’: 20, ‘salary’: 999999}

col.insert(data)

我们做爬虫,主要用MongoDB是来储存数据。所以主要使用的就是这个insert方法。

查找

MongoDB的查找功能对应的方法是:find(参数)和find_one(参数), 两个参数的类型均为Python字典,参数可以省略。其中,find_one()一次只返回一条信息。我们一般使用的最多的是find(参数)这个方法。

可以通过参数指定需要查找的内容。其中的参数可以省略不写。

1

2

content = col.find()

content = col.find({‘age’: 29})

第一行代码会返回你指定集合中的所有的内容。

第二行代码会返回所有年龄为29岁的人的记录。

这两种方式得到的结果content是一个pymongo对象,但是可以使用for循环展开。展开以后可以得到很多个字典。每个字典对应一条记录。

1

2

3

for row in content:

id = row[‘id’]

name = row[‘name’]

更新

更新用到的方法叫做update_one(参数1, 参数2)或者update_many(参数1,参数2), 前者只更新一条信息,后者更新所有符合要求的信息。这里的参数1,和参数2都是字典,都不能省略。请看代码:

1

2

col.update_one({‘age’: 20}, {’$set’:{‘name’: ‘kingname’}})

col.update_many({‘age’: 20}, {’$set’:{‘age’: 30}})

第一行代码的作用是,将第一个年龄为20岁的人的名字改为kingname。

第二行代码的作用是,将所有年龄为20岁的人的名字全部改为kingname。

删除

删除 用到的方法叫做delete_one(参数)或者delete_many(参数)这里的参数都是字典,不建议省略参数。delete_one(参数)只删除一条记录,delete_many(参数)删除所有的符合要求的记录。

1

2

col.delete_one({‘name’: ‘kingname’})

col.delete_many({‘name’: ‘kingname’})

第一行代码,删除第一个名字叫做kingname的人。

第二行代码,删除所有名字叫做kingname的人。

总结

我们在制作爬虫的过程中可能涉及到的PyMongo的知识主要就是这些。当然PyMongo还有一些其他的方法,如果大家有兴趣的话,可以查看PyMongo的官方文档:https://docs.mongodb.com/getting-started/python/client/

ORM 介绍

ORM(Object-relational mapping,对象关系映射),可以将对数据库的操作变为对象的操作。

MongoEngine就是MongoDB的一个ORM库,我们使用MongoEngine以后,就可以通过直接操作对象来控制MongoDB。

一般MongoEngine在基于Python的网页开发中应用较多。不过,在我们的爬虫上,也可以使用。

MongoEngine 的安装

使用pip 安装:pip install mongoengine

安装效果如下:

验证安装

打开python 交互环境,输入以下代码并回车,如果没有报错,则表示安装成功:

import mongoengine

MongoEngine 的使用

1.初始化连接

如果我们的MongoDB 是直接在本地电脑上面运行的,可以使用以下代码来连接到电脑上的MongoDB数据库:

1

2

from mongoengine import *

connect(‘数据库名’)

如果MongoDB不是运行在本地电脑上面的,就需要指定ip 地址和端口:

1

2

from mongoengine import *

connect(‘数据库名’, host=‘192.168.2.12’, port=3456) #请注意端口号是数字不是字符串

2.定义文档

定义一个类,这里我们以个人信息为例。这个类继承MongoEngine 的Document类。请注意,这里的类名People 对应了MongoDB中的集合名。类中的每一个变量,对应了每一条记录中的列名。

1

2

3

4

5

6

from mongoengine import *

class People(Document):

name = StringField(required=True) #请注意所有写了required=True的变量,在类初始化的时候都是必须填写的参数哦。

age = IntField(required=True)

sex = StringField(required=True)

salary = IntField() #这里的IntField 或者StringField 对应了数据类型

3.创建对象

初始化People类,创建一个对象:

1

2

kingname = People(name=‘kingname’, age=18, sex=‘male’, salary=99999) #注意这里的参数name, age 和sex是不可以省略的,但是salary可以省略

kingname.save()

当然,我们也可以这样写:

1

2

3

kingname = People(name=‘kingname’, age=18, sex=‘male’)

kingname.salary = 99999

kingname.save()

在信息已经保存以后,如果你想修改某个信息,你可以这样写:

1

2

kingname.age = 22

kingname.save()

这样就把年龄修改为22岁了。是不是比pymongo简单太多了?

4.读取对象

如果想读取所有的用户信息怎么办呢?非常简单:

1

2

3

4

for person in People.objects:

print(person.name)

print(person.age)

print(person.sex)

按条件搜索也非常简单,在People.objects后面加参数即可,例如搜索所有年龄为22岁的人:

1

2

for person in People.objects(age=22):

print(person.name)

你甚至会怀疑我到底是不是把这些信息写入到了数据库里面。你可以用RoboMongo读取一下数据库,看看是不是有一个集合叫做People,里面有我们添加进去的数据。

四:正则表达式的应用一

正则表达式介绍:

正则表达式(Regular Expression)是一段字符串,可以用来在一段文本中,查找,替换有规律的信息。

做一个比喻,假设在你的面前有一万个人,我让你去找一个人,他有如下特点:皮肤是绿色的,身高三米,内裤套在头上。那么只要这个人在这一万人中,你就能一眼找到他。如果我让你从这一万人中找十个有这种特征的人,你也可以在一瞬间把这十个人从这一万人中找出来。这个寻找的过程,在正则表达式中,叫做“匹配”。而你的大脑,天生就具有正则表达式的功能。

在计算机中,我们需要让计算机程序从一大段文本中找到我们需要的内容。就可以使用正则表达式来帮助我们。

使用正则表达式有如下步骤:

· 寻找规律

· 使用正则符号表示规律

· 提取信息

我们来举一个例子,下面有一段话:

今天天气不错,。password:88886666:password我刚刚不小心把我的密码写了出来。你能看到我的密码吗?

我发现我们都喜欢使用同样的密码,昨天我不小心看到了小红的密码password:11112222:password于是我用这个密码去入侵她的电脑,没想到成功了。

在她的电脑中,我发现了她的银行卡密码password:33334444:password于是我把她的银行卡密码也修改了。

在这一段文字中,一共出现了三个密码。这三个密码很有规律,他们都是 password:数字:password 这种形式的。那么,如果我可以有什么办法,能把符合 password:数字:password 这种格式的内容里面的数字提取出来,我就可以直接得到密码了。这就需要使用正则表达式来完成这个工作。

常用基本符号的基本意义:

.可以代表任意除\n以外的字符

一个点号代表一个字符 就是一个占位符

星号*表示匹配星号之前的0次或多次

问号?匹配前面的0次或1次

\\转义字符 不能单独使用 让有特殊意义的字符变成普通字符:\* 代表普通星号

让普通字符变成有意义的特殊字符\d代表数字

括号的使用

() 是为了提取匹配的字符串。当我们使用正则表达式提取内容的时候,可能只想提取部分内容,于是我们需要使用括号来标记我们需要的内容。

通过下面这个例子说明:

有一个字符串

1

2

3

4

a = Pythonpachong

B = re.findall (‘Pyth…chong’,a)

Print(B) 返回变量a的所有字符Pythonpachong

B = re.findall (‘Pyth(…)chong’,a)

加上括号之后 只返回 onpa

提取数字

正则表达式里面,使用 \d 来表示一位数字。这里要强调一下,\d 虽然是由从左上向右下的斜杠和字母d构成的,但是我们要把\d看成是一个正则表达式符号整体。从左上向右下的斜杠,名字叫做“反斜杠”,在正则表达式中是作为转义字符,不能单独使用。

如果要提取两个数字,我们可以使用 \d\d,如果要提取三个数字,我们可以使用\d\d\d,但是问题来了,如果我们不知道有这个数有多少位怎么办呢?就需要使用上一课讲到的+号。+ 号可以匹配它前面的符号一次或者多次。所以使用 \d+,可以表示一个任意位数的数字。

我们的密码是123455677,请记住它。

当我们对这一段文字使用(\d+)的时候的时候,就会把123455677给提取出来。

提取文本

对于文本来说,我们在爬虫中一般使用 .*? 这三个符号来完成。

我们知道点号表示任意非换行符的字符,*号表示匹配它前面的字符零次或者任意多次。所以 .* 表示匹配一串任意长度的字符串任意次。这个时候必须在.* 的前后加其他的符号来限定范围,否则得到的结果就是原来的整个字符串。

如果在 .* 的后面加一个问号变成 .*? ,那么可以得到什么样的结果呢?问号表示匹配它前面的符号0次或者1次。于是 .*? 的意思就是,匹配一个能满足要求的最短字符串。

提取多行文本

只需把文本匹配模式中加入\n:.*?\n.*?

· .* 外号贪心算法,获取最长的满足条件的字符串

匹配字符串中所有满足条件的内容

.*? 外号非贪心算法,获取最短的能满足条件的字符串

只匹配一个满足条件的内容后退出

五:正则表达式的应用二

导入模块

Python的正则表达式模块名字为 re ,我们可以使用:import re来导入并使用。

findall 方法

Python的正则表达式模块包含一个findall方法,它可以以列表的形式返回所有满足要求的字符串

findall的函数原型为:

re.findall(正则规则, 内容, [flag=0])

findall的结果是一个列表,包含了所有的匹配到的结果

当我们需要提取某些内容的时候,需要使用小括号将这些内容括起来,这样才不会得到不相干的信息。如前文所说的一样

函数原型中,最后一个参数是可以省略的。当不省略的时候,可以起到一些辅助功能。例如忽略大小写,忽略换行符等等。我们这里以忽略换行符为例来进行说明,请看下图:

当我们抓取网页的时候,非常容易出现这样的情况,我们要匹配的内容中存在换行符\n,这种情况下,要忽略换行符,就需要使用到re.S这个flag. 我们对比上图的结果,就会发现flags的作用。虽然说匹配到的结果中出现了\n 这个符号,不过我们后期清洗数据的时候把它替换掉即可。

search 的使用

search方法可以返回第一个满足要求的字符串。一旦找到符合要求的内容,它就会停止查找。

search的函数原型为:

re.search(正则, 内容, flags=0)

search的结果是一个正则表达式的对

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值