目录
前言
朋友晒猫,我使劲薅~
视频刷猫,在线认崽,留言偷崽~
面对这么多猫猫的诱惑,简直超级心动有没有~
萌生自己养只猫猫的想法,但不清楚猫猫价格等情况怎么办?
那么,利用自己技术的时候来了~用python采集一下猫猫网站~
看看都有什么品种?价格?什么猫猫最好养等等...
案例知识点
1、parsel解析模块的使用
2、requests模块的使用
3、保存csv
环境介绍:
python 3.8
pycharm
模块使用:
csv
requests >>> pip install requests
parsel >>> pip install parsel
(用这个模块会报错) (3.7没有lxml 安装parsel会报错)
代码展示
import requests # 数据请求模块 第三方模块 pip install requests
import parsel # 数据解析模块 第三方模块 pip install parsel
import csv # 内置模块
# 打开一个文件 csv文件 mode 保存方式 a encoding 编码 newline
f = open('猫咪data.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'地区',
'店名',
'标题',
'价格',
'浏览次数',
'卖家承诺',
'在售只数',
'年龄',
'品种',
'预防',
'联系人',
'联系方式',
'异地运费',
'是否纯种',
'猫咪性别',
'驱虫情况',
'能否视频',
'详情页',
])
csv_writer.writeheader() # 写入表头
# 猫咪的列表页url
for page in range(1, 21):
print(f'