python爬取文字和图片_Python学习第七天之爬虫的学习与使用（爬取文字、图片、 视频）...

[toc]

一、爬虫记得基本方法

1.1 爬虫概述

​ 网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

​ Python的爬虫相对其他语言来说还是很简单的，是通过requests 这个模块来进行操作的

因此在使用python进行信息爬取之前，要确保你已经下载了requests 这个模块，如果没有下载通过：pip install requests这个命令下载一下就可以使用了.

1.2 爬虫的使用方法

爬虫是通过程序来对我们想要获取信息进行爬取，一般是采用requests 请求获取到网页的信息，然后再对网页的信息进行处理，拿到有效的数据.

通过requests的get方法获取到网页的信息

然后再提取出网页源代码

通过正则表达式从源代码中获取需要的信息

对信息再处理

保存数据

二、爬虫的操作实例

2.1 爬取文字

程序代码：

# # 实例 爬取段子标题和内容

import requests

import re

# 要爬取网页的链接

url = 'https://ishuo.cn/'

reponse = requests.get(url)

data = reponse.content.decode('utf-8')

# print(data)

res_title = re.findal