爬虫排除标准 相关方法和参数(2)
对于网络爬虫的分类
有常见三种
- . 第一类是 爬取页面 玩转网页的 这种类型的网络爬虫规模都比较小,数据量比较小 爬取的速度不敏感,大多数使用 Request库
- 第二类 爬取网站 爬取系列网站的 这种类型的网络爬虫 属于 中等规模的
爬取的数据量也比较大 他对爬取速度敏感,使用Scrapy类库 - 第三类 就是全网爬取 这种属于大规模全 Internet搜索引擎,爬取速度是他的关键,他们使用的类库都是定制开发的
网络爬虫引发的问题
Robots协议 (爬虫协议、机器人协议) 的全称是 网络爬虫排除标准
Robots Exclusion protocal 网站通过robots协议告诉搜索引擎哪些可以爬取
术语 user-agent :表示对于网络爬虫来源
Allow 允许 Disallow 不允许
构造一个BeautifulSoup类的参数有两个:
- 第一个是html/xml的文档内容,可以是本地文件,也可以是使用Requests库从url上获取的页面内容
- 第二个 就是 默认解析器 html.parser 他是Python内置的标准库 也可以安装其他库
具体解析器的使用方法和条件如表
bs4
- BS4的HTML解析器 BeautifulSoup(mk,‘html.parser’)
- lxml 的HTML解析器 BeautifulSoup(mk,‘lxml’)
- lxml 的xml解析器 Beautiful Soup(mk,‘xml’)
- html5lib 的解析器 Beautiful Soup(mk,‘html5lib’)
基本元素
-
Tag 标签 <> </>
-
Name 标签名
-
Attributes 标签的属性,字典形式组织
-
NavigableString <></> 标签非属性字符串
-
Comment 标签内字符串的注释部分,一种特殊的Comment类型