自学爬虫01

目录

什么是爬虫？

爬虫思路

大体了解了一下就用实例说话

---

什么是爬虫？

爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

即：打开一个网页，有个工具，可以把网页上的内容获取下来，存到你想要的地方，这个工具就是爬虫。

通俗易懂的说法就是，通过编程从网上爬取数据。

---

爬虫思路

爬虫的大体思路就分四部

1获取网址（url）

2发送请求，获得响应

3.提取数据

4保存数据

---

大体了解了一下就用实例说话

import requests # 第三方库 需要单独安装使用 pip install requests 放起网络请求
from lxml import etree # 数据解析

# 目标网址
url='https://m.huya.com/g/2168'

# 伪装头
headers = {
    'user-agent': '178.69.45.2'
}
# 发起网络请求，并获取数据
response = requests.get(url=url,headers=headers)
# print(response.text)#  打印前端的源代码

# 数据解析
data = etree.HTML(response.text)

girls = data.xpath('//img[@class="pic"]')            # 一组照片的标签

# 遍历数据
for girl in girls:
    img_url = girl.xpath('./@data-original')[0]      # 初始缩小的照片
    img_url = img_url.split('?')[0]                  # 原图连接
    name = girl.xpath('./@alt')[0]                   # 主播名字

    image = requests.get(url=img_url,headers=headers) # 图片数据
    with open('./s/%s.jpg' % name, 'wb') as jpg:
        jpg.write(image.content)
    print('《%s》 已下载完毕' % name)
else: # 若for循环不执行，所执行的代码
    print("循环下载失败")

以上实例就是一个爬取虎牙直播封面的小案例

---

使用了requests、lxml 库 

需要自行下载

下载方式就是 打开命令行 分别输入pip install requests/pip install lxml 即可

如图所示

---

 接下来就是将虎牙小案例进行解释

将目标网址 用url接收

然后发送请求，获得响应，用response接收

也可以将这两项合并

response = requests.get('https://m.huya.com/g/2168',headers=headers)

这一块是将数据进行解析，拿到需要的数据，也就是数据筛选

 

 

最后就是数据保存

完成