Python学习——爬虫(一)

步骤

①发起请求
通过HTTP库向目标站点发起请求,即发送一个request,请求可以包含额外的headers等信息,等待服务器相应。
②获取响应内容
如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。
③解析内容
得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。
④保存数据
保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

爬虫抓取数据:

一、网页文本(HTML文档,json格式文本)
在这里插入图片描述
二、图片(获取到的是二进制文件,保存为图片格式)
在所需抓取的网页上打开源码,
得到所需抓取文件内容链接,使用requests.get方法获取响应体二进制格式
在这里插入图片描述
在这里插入图片描述
在写入的文件夹内可以看到获取 下来的图片。
三、视频(二进制文件,保存为视频格式)
四、其他(可以请求到的都可以获取)

解析方式

直接处理
返回简单的字符串,取出空格等,适用于构造内容简单的情况
Json解析
返回Json格式的字符串,把Json字符串解析转化成Json对象,然后提取有效数据。
①选择目标网页,F12查看源码,选择XHR
在这里插入图片描述
②查找preview与response响应体中的内容
在这里插入图片描述
③解析字符串得到结果。
正则表达式提取方式
规则字符串,把html中的代码文本提取出。
BeautifulSoup

Pyquery

XPath

解决JavaScript渲染问题

分析Ajax请求
Selenium/WebDriver
在这里插入图片描述
Splash
PyV8
Ghost.py

保存数据

一、纯文本,Json、Xml
二、关系型数据库(如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。)
三、非关系型数据库(如MongoDB、Redis等Key-Value形式存储。)
四、二进制文件(如图片、视频、音频等等直接保存成特定格式即可。)

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值