Python爬虫入门教程31:爬取猫咪交易网站数据并作数据分析(2)

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Python全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024c (备注Python)
img

正文

Python爬虫入门教程12:英雄联盟皮肤图片的爬取

Python爬虫入门教程13:高质量电脑桌面壁纸爬取

Python爬虫入门教程14:有声书音频爬取

Python爬虫入门教程15:音乐网站数据的爬取

Python爬虫入门教程17:音乐歌曲的爬取

Python爬虫入门教程18:好看视频的爬取

Python爬取入门教程19:YY短视频的爬取

Python爬虫入门教程20:IP代理的爬取使用

Python爬虫入门教程21:付费文档的爬取

Python爬虫入门教程22:百度翻译JS解密

Python爬虫入门教程23:A站视频的爬取,解密m3u8视频格式

Python爬虫入门教程24:下载某网站付费文档保存PDF

Python爬虫入门教程25:绕过JS加密参数,实现批量下载抖某音无水印视频内容

Python爬虫入门教程26:快手视频网站数据内容下载

Python爬虫入门教程27:爬取某电商平台数据内容并做数据可视化

Python爬虫入门教程28:爬取微博热搜榜并做动态数据展示

Python爬虫入门教程29:爬取某团烤肉店铺数据内容并做可视化展示

ython爬虫入门教程30:爬取拉勾网招聘数据信息

PS:如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨


  • Python 3.8

  • Pycharm

相关模块的使用💨


import requests

import parsel

import csv

安装Python并添加到环境变量,pip安装需要的相关模块即可。

💥需求数据来源分析


在这里插入图片描述

在这里插入图片描述

‘地区’, ‘店名’, ‘标题’, ‘价格’, ‘浏览次数’, ‘卖家承诺’, ‘在售只数’,

‘年龄’, ‘品种’, ‘预防’, ‘联系人’, ‘联系方式’, ‘异地运费’, ‘是否纯种’,

‘猫咪性别’, ‘驱虫情况’, ‘能否视频’, ‘详情页’

这些数据, 都是要获取下来的, 虽然说需要的数据比较多, 但是这个网站相对而言还是很简单的, 因为没有什么反爬的措施.

💥代码实现


获取数据

url = ‘http://www.maomijiaoyi.com/index.php?/chanpinliebiao_c_2.html’

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36’

}

response = requests.get(url=url, headers=headers)

selector = parsel.Selector(response.text)

href = selector.css(‘div.content:nth-child(1) a::attr(href)’).getall()

areas = selector.css(‘div.content:nth-child(1) a .area span.color_333::text’).getall()

areas = [i.strip() for i in areas]

zip_data = zip(href, areas)

for index in zip_data:

http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_546549.html

index_url = ‘http://www.maomijiaoyi.com’ + index[0]

response_1 = requests.get(url=index_url, headers=headers)

selector_1 = parsel.Selector(response_1.text)

area = index[1] # 地区

shop = selector_1.css(‘.dinming::text’).get().strip() # 店名

title = selector_1.css(‘.detail_text .title::text’).get().strip() # 标题

price = selector_1.css(‘span.red.size_24::text’).get() # 价格

views = selector_1.css(‘.info1 span:nth-child(4)::text’).get() # 浏览次数

promise = selector_1.css(‘.info1 div:nth-child(2) span::text’).get().replace('卖家承诺: ', ‘’) # 卖家承诺

sale = selector_1.css(‘.info2 div:nth-child(1) div.red::text’).get() # 在售

age = selector_1.css(‘.info2 div:nth-child(2) div.red::text’).get() # 年龄

breed = selector_1.css(‘.info2 div:nth-child(3) div.red::text’).get() # 品种

safe = selector_1.css(‘.info2 div:nth-child(4) div.red::text’).get() # 预防

people = selector_1.css(‘div.detail_text .user_info div:nth-child(1) .c333::text’).get() # 联系人

phone = selector_1.css(‘div.detail_text .user_info div:nth-child(2) .c333::text’).get() # 联系方式

fare = selector_1.css(‘div.detail_text .user_info div:nth-child(3) .c333::text’).get().strip() # 异地运费

purebred = selector_1.css(

‘.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(1) .c333::text’).get().strip() # 是否纯种

sex = selector_1.css(

‘.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(4) .c333::text’).get().strip() # 猫咪性别

worming = selector_1.css(

‘.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(2) .c333::text’).get().strip() # 驱虫情况

video = selector_1.css(

‘.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(4) .c333::text’).get().strip() # 能否视频

dit = {

‘地区’: area,

‘店名’: shop,

‘标题’: title,

‘价格’: price,

‘浏览次数’: views,

‘卖家承诺’: promise,

现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
6ddd3fe5aff.png)

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
[外链图片转存中…(img-zbZshUOy-1713371538963)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 28
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值