“端午节” 送亲戚，2024年GitHub上那些优秀Python开源库总结

• 爬取思路： 先针对某一页数据的一级页面做一个解析，然后再进行二级页面做一个解析，最后再进行翻页操作；

• 爬取字段： 分别是粽子的名称（标题）、价格、品牌（店铺）、类别（口味）；

• 使用工具： requests+lxml+pandas+time+re+pyecharts

• 网站解析方式： xpath

最终的效果如下：

数据爬取

---

京东网站，一般是动态加载的，也就是说，采用一般方式只能爬取到某个页面的前30个数据（一个页面一共60个数据）。

基于本文，我仅用最基本的方法，爬取了每个页面的前30条数据（如果大家有兴趣，可以 自行下去爬取所有的数据）。

那么，本文究竟爬取了哪些字段呢?我给大家做一个展示，大家有兴趣额，可以爬取更多的字段，做更为详细的分析。

下面为大家展示爬虫代码：

import pandas as pd

import requests

from lxml import etree

import chardet

import time

import re

def get_CI(url):

headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; X64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36’}

rqg = requests.get(url,headers=headers)

rqg.encoding = chardet.detect(rqg.content)[‘encoding’]

html = etree.HTML(rqg.text)

价格

p_price = html.xpath(‘//div/div[@class=“p-price”]/strong/i/text()’)

名称

p_name = html.xpath(‘//div/div[@class=“p-name p-name-type-2”]/a/em’)

p_name = [str(p_name[i].xpath(‘string(.)’)) for i in range(len(p_name))]

深层url

deep_ur1 = html.xpath(‘//div/div[@class=“p-name p-name-type-2”]/a/@href’)

deep_url = [“http:” + i for i in deep_ur1]

从这里开始，我们获取“二级页面”的信息

brands_list = []

kinds_list = []

for i in deep_url:

rqg = requests.get(i,headers=headers)

rqg.encoding = chardet.detect(rqg.content)[‘encoding’]

html = etree.HTML(rqg.text)

品牌

brands = html.xpath(‘//div/div[@class=“ETab”]//ul[@id=“parameter-brand”]/li/@title’)

brands_list.append(brands)

类别

kinds = re.findall(‘>类别：(.*?)’,rqg.text)

kinds_list.append(kinds)

data = pd.DataFrame({‘名称’:p_name,‘价格’:p_price,‘品牌’:brands_list,‘类别’:kinds_list})

return(data)

x = “https://search.jd.com/Search?keyword=%E7%B2%BD%E5%AD%90&qrst=1&wq=%E7%B2%BD%E5%AD%90&stock=1&page=”

url_list = [x + str(i) for i in range(1,200,2)]

res = pd.DataFrame(columns=[‘名称’,‘价格’,‘品牌’,‘类别’])

这里进行“翻页”操作

for url in url_list:

res0 = get_CI(url)

res = pd.concat([res,res0])

time.sleep(3)

保存数据

res.to_csv(‘aliang.csv’,encoding=‘utf_8_sig’)

最终爬取到的数据，长这样。

数据清洗

---

从上图可以看到，整个数据算是很整齐的，不是特别乱，我们只做一些简单的操作即可。

先使用pandas库，来读取数据。

import pandas as pd

df = pd.read_excel(“粽子.xlsx”,index_col=False)

df.head()

结果如下：

我们分别针对 “品牌”、“类别‘两个字段，去掉中括号。

df[“品牌”] = df[“品牌”].apply(lambda x: x[1:-1])

df[“类别”] = df[“类别”].apply(lambda x: x[1:-1])

df.head()

结果如下：

① 粽子品牌排名前10的店铺

df[“品牌”].value_counts()[:10]

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

G9nLmNzZG4ubmV0L3poaWd1aWd1,size_16,color_FFFFFF,t_70)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）