Python
萝卜干兔兔
这个作者很懒,什么都没留下…
展开
-
微信公众号爬虫的基本原理
爬虫的基本原理所谓爬虫就是一个自动化数据采集工具,你只要告诉它要采集哪些数据,丢给它一个 URL,就能自动地抓取数据了。其背后的基本原理就是爬虫程序向目标服务器发起 HTTP 请求,然后目标服务器返回响应结果,爬虫客户端收到响应并从中提取数据,再进行数据清洗、数据存储工作。爬虫的基本流程爬虫流程也是一个 HTTP 请求的过程,以浏览器访问一个网址为例,从用户输入 URL 开始,客户端通过 D...原创 2019-07-19 14:44:47 · 740 阅读 · 0 评论 -
使用 Requests 实现一个简单网页爬虫
友情提示:代码全部基于 Python3.6 实现我们简单介绍了爬虫的基本原理,理解原理可以帮助我们更好的实现代码。Python 提供了非常多工具去实现 HTTP 请求,但第三方开源库提供的功能更丰富,你无需从 socket 通信开始写,比如使用Pyton内建模块 urllib 请求一个 URL 代码示例如下:import sslfrom urllib.request import Requ...原创 2019-07-19 15:21:56 · 300 阅读 · 0 评论