Python爬取分析全网最硬核粽子（附源码），看了这篇文章我才真正理解了

book_urls.append(link[“href”])

return book_urls

# 获取每章的链接

def get_chapter_urls(url):

chapter_urls = []

page = requests.get(url)

soup = BeautifulSoup(page.content.decode(“utf8”), “lxml”)

articles = soup.find_all(“article”, class_=“excerpt excerpt-c3”)

for article in articles:

chapter_urls.append(article.a[“href”])

return chapter_urls

# 获取每章的内容

def get_content(url):

content = “”

page = requests.get(url)

soup = BeautifulSoup(page.content.decode(“utf8”), “lxml”)

title = soup.find_all(“h1”, class_=“article-title”)[0].string

content += (“\n” + title + “\n\n”)

articles = soup.find_all(“article”, class_=“article-content”)

for article in articles:

ps = article.find_all(‘p’)

for p in ps:

for string in p.strings:

content = content + string + “\n”

return content

# 获取全本《盗墓笔记》并保存到文件

def get_article(url):

print(1)

book_urls = get_book_urls(url)

print(1)

chapter_urls = []

for url in book_urls:

print(1)

# url = “http://www.daomubiji.com/dao-mu-bi-ji-2”

chapter_urls.extend(get_chapter_urls(url))

print(chapter_urls)

result = “”

for chapter_url in chapter_urls:

content = get_content(chapter_url)

result += content

print(content)

with open(“daomubiji.txt”, “a”) as f:

f.write(result.encode(“utf8”))

get_article(“http://www.daomubiji.com/”)

2.粽子分析

依稀记得书中的粽子种类繁多

• 大粽子：厉害的僵尸、恶鬼之类的东西

• 老粽子：可发生尸变的不好对付的僵尸

• 干粽子：是指墓里的尸体烂得只剩下一堆白骨了。

• 肉粽子：是指尸体身上值钱的东西多。

• 血粽子：血尸墓中的粽子，最厉害。

• 霉粽子：是指具有尸毒的尸体。

• 女粽子：女尸尸化后的粽子，比普通粽子更厉害

这里把前三本书中出现“粽子”的每句话给提取出来，并生成一张词云图来展示一下粽子的味道，可以看到四字的拆分比两字拆分描述得更深刻一些

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-GIrD4X6R-1710980549186)]