python通过URL对关键字相关数据爬取

该例子：将实现轻量级的数据爬取(不需要登录的全页面数据)–【百度百科（pathon）词条相关的1000个页面数据】

简介：爬虫是对一个URL为入口，与其相关联的URL中的数据，将进行自动抓取互联网信息的程序。
价值：1、利于自行的数据分析2、可以将数据分类对外提供专业数据信息
1、简单爬虫架构

1. 爬虫架构流程

爬虫调度端---->URL管理器< -------------- >网页下载器< ------------------- 万业解析器 >--------------价值数据
2 爬虫架构动态流程

2、URL管理器
管理带爬去URL集合和已抓取URL集合（防止重复抓取、防止循环抓取）
实现方式：
python内存 mysql数据库 redis缓存数据库
带爬取URL集合：set() 一张表（url,id） set
已爬取URL集合：set() set
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eITwl9US-1571590263248)(https://img2018.cnblogs.com/blog/1590744/201910/1590744-20191021003015937-1024137984.png)]
3、网页下载器（urllib2）
(一)：将URL对应的网页下载到本地的工具
(二)：互联网《-----URL------HTML----》网页下载器（urllib2、requests工具）-------------------本地文件或内存字符串
(一)：urllib2：（实现方法）
第一种：1、导入包2、直接请求3、获取请求状态码4、读取内用
第二种（data，http header）：1、url与data与header----》urllib2.Request----------->urllib2.urlopen(request)
1、倒包2、差U关键爱你request对象3、添加数据4、添加http的header信息5、发送请求获取的结果
第三种：不同场景下的处理器
需要登录的：HTTPCookieProcessor
需要代理里的：ProxyHandler
需要加密的SSL：HTTPSHandler
存在相互自动跳转的关系：HTTPRedirectHandler


4、网页解析器（BeautifulSoup）

5、核心代码