1. 爬虫简介
1.1 爬虫是什么?
什么是爬虫,以下是百度百科上的解析:
很多人都将互联网比喻成一张非常大的网,将世界连接起来。如果说互联网是一张网,那么爬虫就像在网上爬的小虫子,通过网页的链接地址来寻找网页,通过特定的搜索算法来确定路线,通常从网站的某一个页面开始,读取该网页的内容,找到该网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,就这样一直循环下去,直到将该网站的所有网页全部抓取为止。
1.2 爬虫原理
发起请求:
使用http库向目标站点发起请求,即发送一个Request
Request包含:请求头、请求体等
接收响应:
如果服务器能正常响应,则会得到一个Response
Response包含:html,json,图片&#x