本文参考IMMOC中的python”开发简单爬虫“:https://www.imooc.com/video/10674。如果不足,希望指正
本文为原创,转载请注明出处:https://blog.csdn.net/yg970514/article/details/80135779
GIT源码地址:https://github.com/solor-yang/Rain
环境:
操作系统:win10
语言:python3.6.5
文本编辑器:eclipse\pydev
爬虫:一段自动抓取互联网信息的程序
价值:互联网数据,为我所用!
爬虫步骤:
·简单爬虫架构
`URL管理器
·网页下载器,urllib2
·网页解析器,BeautifulSoup
·实战编写爬取百度百科页面
·这只是最简单的爬虫!
——需登录、验证码、Ajax、服务器防爬虫、多线程、分布式
简单爬虫架构: