Python爬虫程序（初学者版）

爬虫指网络爬虫，模拟客户端批量获取信息，比如互联网是网，爬虫程序就是蜘蛛。

Python爬虫需要两个工具库：

requests和parsel

（第三方库需要另外安装，在终端输入以下代码）

python -m pip install requests python -m pip install parsel

requests用来请求网站，获取网站信息。

parsel用来解析数据，提取信息。

今天我们做一个简单的程序，可以爬取网站所有的图片名。

首先看以下代码：

import requests import parsel url = "https://example.com" #这里写网站地址 response = requests.get(url) parsel = parsel.Selector(response) img_object = parsel.xpath(\"//img/@src\") for i in img_object:   img_href = i.get()   file_name = img_href.split("/")[-1] print(file_name)

requests的get()函数可以请求网站，和post()函数用法一致。get(网址)可以请求网址，用.text属性可以获取网页源代码信息。
创建一个变量url，写网址。

创建一个变量selector，意思为选择器。选择网页源代码。

用selector的xpath属性，括号内写xpath语法。

//img/@src：匹配所有img节点，获取src属性。

之后遍历img_object，i的.get()属性可以提取信息，之后用.split()分割，最后一节通常是图片名，用索引获取最后一节。

之后用print()函数输出，程序就大功告成了。