爬虫
小白白@
个人博客:http://blkwindy.top/
展开
-
python爬虫原理
在了解爬虫前,我们需要先简单的了解什么是网络连接。 一、网络连接 网络连接的基本原理就是计算机发送一次Request请求包和服务器回复一个Response响应包,即完成完成一次网络连接。 Request包主要有请求头、消息体等 Response主要有html,json,图片,视频等 二、爬虫原理 爬虫简单来讲就是两件事: 1.模拟计算机向服务器发送Request请求包。 2.接收服务器的Resp...原创 2019-05-09 13:36:10 · 2977 阅读 · 1 评论 -
python爬虫之爬取贴吧图片
一、确定爬取流程 手动翻页观察URL结构,构造URL列表。 发送request请求包。 解析response回复包,提取所需数据。 存储数据。 1.1 观察URL,构造url列表 第一页:https://tieba.baidu.com/f?kw=图片&ie=utf-8&pn=0 第二页:https://tieba.baidu.com/f?kw=图片&ie=utf-...原创 2019-05-14 15:57:24 · 5470 阅读 · 2 评论