前言
嗨喽!大家好,这里是魔王。
养猫是吸猫时代的一种潮流趋势,越来越多的喵星人开始参与了人类的家庭,猫奴们为了满足自己爱猫的狂热,都纷纷 开始抱猫咪回家。猫咪这种生物有谁能拒绝呢? 那么我们今天就来爬一爬猫咪交易网站
本此目的:Python爬取猫咪交易网数据
本次亮点
- parsel解析模块的使用
- requests模块的使用
- 保存csv
环境介绍:
-
python 3.8
最新会有bug 版本没有那么稳定, 有一些模块出现不兼容的情况 所以使用python 3.8
-
pycharm
模块使用:
- csv
- requests >>> pip install requests
- parsel >>> pip install parsel (用这个模块会报错) (3.7没有lxml 安装parsel会报错)
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
python可以实现操作的东西
-
网站开发 (Django/flask/tornado)
开发一个网站/ 今天爬取的内容 同样也可以用python开发出来的
豆瓣/美团/youtube python开发
-
爬虫程序
采集网页数据内容 (可见即可爬)
-
数据分析
可视化图表展示/数据处理 清洗等等 量化交易 金融分析 …
(算法 训练模型 可以达到预测效果>>> 下个月走势)
-
人工智能
算法方面内容 >>> 人脸检测/物体识别 等等
-
自动化脚本
游戏开发/游戏辅助 模拟点击/内存辅助 ce 去找参数变化, 然后用python修改
思路
- 确定自己爬取的内容是什么东西
- 去分析我们爬取数据内容是从哪里来得 (可以爬慢一点/ 你可以破解验证码 自动识别验证码)
代码实现步骤(本网站内容是静态网页):
- 发送请求, 对于猫咪列表页发送请求
- 获取数据, 获取网页源代码
- 解析数据, 提取猫咪详情页url地址 以及 地区
- 发送请求, 对于猫咪详情页url地址发送请求
- 获取数据, 获取网页源代码
- 解析数据, 提取猫咪相关信息
- 保存数据, 把数据保存到csv文件
- 多页数据采集
导入模块
import requests # 数据请求模块 第三方模块 pip install requests
import parsel # 数据解析模块 第三方模块 pip install parsel
import csv # 内置模块
打开一个文件 csv文件 mode 保存方式 a encoding 编码 newline
f = open('猫咪data.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'地区',
'店名',
'标题',
'价格',
'浏览次数',
'卖家承诺',
'在售只数',
'年龄',
'品种',
'预防',
'联系人',
'联系方式',
'异地运费',
'是否纯种',
'猫咪性别',
'驱虫情况',
'能否视频',
'详情页',
])
csv_writer.writeheader() # 写入表头
猫咪的列表页url
for page in range(1, 21):
print(f'--------------------正在爬取滴{page}页数据内容--------------------')
url = f'http://www.maomijiaoyi.com/index.php?/chanpinliebiao_c_2_{page}--24.html'
# headers 请求头, 把python代码进行一个简单伪装 (禁止LB 穿上一个外套)
# 巳月老师 比较流氓, 对于没什么反爬网站, 都是LB
# 我喜欢穿衣服
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
# requests 里面 get 请求方式 为什么老师这里需要用get请求方式?
response = requests.get(url=url, headers=headers)
# 获取网页源代码 response.text 激发学员学习的兴趣
# print(response.text) # 取网页源代码 html 字符串数据
# 解析数据 不会css 或者xpath 没有关系 (不能经常用)
selector = parsel.Selector(response.text)
href = selector.css('#content div.breeds_floor div div a::attr(href)').getall()
areas = selector.css('#content div.breeds_floor div div a div.price_area div.area span.color_333::text').getall()
同时提取两个列表里面的元素内容
for index in zip(href, areas):
# 返回的是元祖 >>> 根据索引位置取值 ()
# http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_404056.html
# 猫咪详情页url地址
index_url = 'http://www.maomijiaoyi.com' + index[0]
# 字符串 方法去除字符串两端的空格 strip() 在爬取数据的过程中 也要对于数据进行一些简单处理
# 方便我们之后做数据分析
# css 选择器 这个里面语法还是比较多的, 像VIP课程 这个知识点会讲两个小时(详细)
# css选择器 就是根据标签属性提取内容 解析方法: re正则表达式 css选择器 xpath (都要掌握)
area = index[1].strip()
html_data = requests.get(url=index_url, headers=headers).text
selector_1 = parsel.Selector(html_data)
title = selector_1.css('.detail_text .title::text').get().strip()
shop = selector_1.css('.dinming::text').get().strip() # 店名
price = selector_1.css('.info1 div:nth-child(1) span.red.size_24::text').get() # 价格
views = selector_1.css('.info1 div:nth-child(1) span:nth-child(4)::text').get() # 浏览次数
# replace() 替换
promise = selector_1.css('.info1 div:nth-child(2) span::text').get().replace('卖家承诺: ', '') # 浏览次数
num = selector_1.css('.info2 div:nth-child(1) div.red::text').get() # 在售只数
age = selector_1.css('.info2 div:nth-child(2) div.red::text').get() # 年龄
kind = selector_1.css('.info2 div:nth-child(3) div.red::text').get() # 品种
prevention = selector_1.css('.info2 div:nth-child(4) div.red::text').get() # 预防
person = selector_1.css('div.detail_text .user_info div:nth-child(1) .c333::text').get() # 联系人
phone = selector_1.css('div.detail_text .user_info div:nth-child(2) .c333::text').get() # 联系方式
postage = selector_1.css('div.detail_text .user_info div:nth-child(3) .c333::text').get().strip() # 包邮
purebred = selector_1.css(
'.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(1) .c333::text').get().strip() # 是否纯种
sex = selector_1.css(
'.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(4) .c333::text').get().strip() # 猫咪性别
video = selector_1.css(
'.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(4) .c333::text').get().strip() # 能否视频
worming = selector_1.css(
'.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(2) .c333::text').get().strip() # 是否驱虫
dit = {
'地区': area,
'店名': shop,
'标题': title,
'价格': price,
'浏览次数': views,
'卖家承诺': promise,
'在售只数': num,
'年龄': age,
'品种': kind,
'预防': prevention,
'联系人': person,
'联系方式': phone,
'异地运费': postage,
'是否纯种': purebred,
'猫咪性别': sex,
'驱虫情况': worming,
'能否视频': video,
'详情页': index_url,
}
csv_writer.writerow(dit)
print(title, area, shop, price, views, promise, num, age,
kind, prevention, person, phone, postage, purebred, sex, video, worming, index_url, sep=' | ')
好了,我的这篇文章写到这里就结束啦!
希望你在python这条路上依心而行,别回头,别四顾。一如既往不改初见的模样,未来的路很长,不管怎样,一定要相信自己一直走下去。
有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง