2024年Python最全我用python爬取了知乎Top沙雕问题排行榜

all_text = ‘’.join(all_html)

#all_text = all_text.replace(‘\u002F’,‘/’)

all_text = all_text.replace(‘questions’,‘question’)

pat = ‘question/\d+’

questions = list(set([k for k in re.findall(pat,all_text)]))

获得到了问题的对应的编号后，就可以去各自的页面获取各个问题对应的的标题、浏览数等信息，如下图所示：

这部分代码如下：

header = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0’,

‘Connection’: ‘keep-alive’}

cookies =‘v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18’

cookie = {}

for line in cookies.split(‘;’):

name, value = cookies.strip().split(‘=’, 1)

cookie[name] = value

questions_df = pd.DataFrame(columns = [‘title’,‘visit’,‘follower’,‘answer’,‘is_open’])

for i in range(len(questions)):

try:

url = ‘https://www.zhihu.com/’+questions[i]

html = requests.get(url,cookies=cookie, headers=header).content

bsObj = BeautifulSoup(html.decode(‘utf-8’),“html.parser”)

text = str(bsObj)

title = bsObj.find(‘h1’,attrs={‘class’:‘QuestionHeader-title’}).text

visit = int(re.findall(‘“visitCount”:\d+’,text)[0].replace(‘“visitCount”:’,‘’))

follower = int(re.findall(‘“followerCount”:\d+’,text)[0].replace(‘“followerCount”:’,‘’))

answer = int(re.findall(‘“answerCount”:\d+’,text)[0].replace(‘“answerCount”:’,‘’))

is_open = int(len(re.findall(‘问题已关闭’,text))==0)

questions_df = questions_df.append({‘title’:title,‘visit’:visit,

‘follower’:follower,‘answer’:answer,

‘is_open’:is_open},ignore_index=True)

time.sleep(2)

print(i)

except:

print(‘错误’+str(i))

数据分析

---

在分享出最终的“沙雕排行榜”前，我们首先严肃认真（lixinggongshi）的进行一波分析，主要看一下问题中的关键词，首先是所有词云的词云：

看来这些问题大多是源自于大家对于人生的探索，否则“为什么”，“如果”，“怎么办”也不会出现那么多，出人意料的是“体验”这个知乎专属tag居然并不多，可能是出于对知乎的尊重，和“体验”相关的问题都不会问得那么“沙雕”。

下面把这些助词去掉，再来看下结果：

这个图看来，读者关注的问题还是很极端，一方面在关注男女朋友“你冷酷、你无情、你无理取闹”这种问题，另一方面却在关注宇宙、地球这种关乎全人类的问题，很符合知乎“人均985，各个过百万”的人设。

这两个图实际上都是基于一个表情，不知道有没有看出来：

好吧，其实看不出来才是正常，能看出来的可能现在去知乎提个问题，下期就会上榜，最后把部分问题做出词云：

不知道大家能不能看清，说实话我自己是看不清的，也没准备让大家看清，目的就是引出下面真正的排行榜

沙雕问题排行榜

---

通过综合问题观看数，关注数，回答数，关注占比，回答占比，综合得到分数的流量指数和新奇指数，最终获得一个整体的分数，如下图所示：

听起来是不是很复杂，实际上最终还是通过90%10%的数据+10%90%的主观来进行了排名，为大家精选了15个最为“沙雕”的问题，

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！