Python 爬虫案例分析
page_num = 0
# 循环翻页
for page in range(0,54150+1,50) :
page_num += 1
print("================正在爬取第{}页数据".format(page_num))
# 1.确定url
url = 'https://tieba.baidu.com/f?kw=%E7%BA%A6%E4%BC%9A&ie=utf-8&pn={}'.format(str(page))
# 加上headers的目的是将代码伪装成浏览器用户,使得对方服务器无法轻易识别该爬虫程序
headers = {
# 以字典键值对形式
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
# 2.发送请求
import requests # requests库的作用是帮助用户发送url请求
# get方法,(所有静态页面的请求都是get方法 得到 获取) 通过关键字传参
# 默认的模拟浏览器,帮助用户请求该浏览器地址的数据,返回response对象
response = requests.get(url=url,headers=headers)
# print(response) # <Response [200]> 在python当中<>代表对象 200表示请求成功、300表示请求重定向、400表示请求地址错误、500表示服务器错误
# text属性的作用是将response对象中的文本数据取出存放到html文件中
html_data = response.text
# print(html_data)
# 至此证明用户已经请求到了想要的数据,但数据此时是html标签数据,并且属于字符串数据类型
# 当中有很多数据是不需要的 因此需要第三步解析数据
# 3.解析数据(数据筛选) 两层解析,第一次层是标题,点击后进入第二层
import parsel # 导入数据解析模块
# 获取到的html_data属于字符串数据,若需要与python完成交互必须要用正则表达式实现
html = parsel.Selector(html_data) # 将数据转换成Selector对象
# 转换完成后html对象具有一系列数据解析方法
# getall()方法是从Selector响应对象中提取解析的数据
title_url = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href').getall()
# print(title_url)
base_url = 'https://tieba.baidu.com'
i = 1
for url in title_url:
all_url = base_url + url
print('当前的帖子链接为:',all_url)
# 再次发送请求,请求帖子内部的数据
response_2 = requests.get(url = all_url ,headers=headers).text
# 第二次解析
response_2_data = parsel.Selector(response_2)
result_list = response_2_data.xpath('//cc/div/img[@class="BDE_Image"]/@src').getall()
print(result_list)
# 通过图片地址获取图片的二进制数据
for li in result_list:
img_data = requests.get(url = li ,headers=headers).content # content属性获取图片的二进制数据
# 4.保存数据(本地文件)
# 文件名
file_name = li.split('/')[-1] # 通过/将url地址分割成若干份,获取到链接的最后一串字符作为文件名
with open('./file/img/' + '图片_'+ str(i) + '.jpg', mode='wb') as f :
f.write(img_data)
i += 1
print('正在保存:',file_name)