程序员还愁没段子？Python几招爬取知乎搞笑段子！_python爬取搞笑素材

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

---

二、原理简介

我举一个例子：

首先，在知乎上搜索一个关于搞笑段子的问答

https://www.zhihu.com/question/341002197

类似于这种：

之前的文章里说过，获取知乎的回答只需要请求这个接口就行了：

https://www.zhihu.com/node/QuestionAnswerListV2

需要携带的参数也不复杂：

data = {         

          'method':'next',      

      'params': '{"url_token":%s,"page_size":%s,"offset":%s}' % (question_id, size, offset)    

         }

---

三、脚本

所以我们很快就可以完成一个数据爬取的小脚本了(这是最最最基础的爬虫代码，所以我就不一点点地去讲解啦)：

'''知乎段子'''
class zhihuJokesSpider():   
    def __init__(self, question_id, **kwargs):       
        self.question_id = question_id  
        self.headers = {                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',                'Accept-Encoding': 'gzip, deflate'       
     }       
 self.api_url = 'https://www.zhihu.com/node/QuestionAnswerListV2'    
    self.session = requests.Session()      
    self.pointer = 0     
    self.limits = 2000  
  
 '''开始运行'''   
 def start(self):       
 offset = -1       
 size = 1        
jokes = []      
  while self.pointer <= self.limits:        
    offset += size       
     data = {       
             'method': 'next',                    'params': '{"url_token":%s,"page_size":%s,"offset":%s}' % (self.question_id, size, offset)                }     
       response = self.session.post(self.api_url, headers=self.headers, data=data)            joke = eval(response.text)['msg'][0].replace('\\', '')  
         joke = re.findall(r'<p>(.*?)</p>', joke)   
         joke_filtered = []            for item in joke:                if '<br>' in item: item = item.replace('<br>', '')                if '<b>' in item: item = item.replace('<b>', '')                if '</b>' in item: item = item.replace('</b>', '')                if len(item) < 5: continue            
    if 'www.zhihu.com' in item: continue        
   joke_filtered.append(item)        
   joke = '\n'.join(joke_filtered)          
   print(joke)           
   jokes.append(joke)          
   time.sleep(random.randint(0, 1) + random.random())           
    self.pointer += 1      
if not os.path.exists(str(self.question_id)):         
          os.mkdir(str(self.question_id))    
with open(os.path.join(str(self.question_id), 'jokes.pkl'), 'wb') as fp:            pickle.dump(jokes, fp)

调用并运行他就ok啦：

question_id = '341002197'

client = zhihuJokesSpider(question_id)

client.start()

---

四、编写GUI

接着，我们用PyQt5搞个简单的笑话浏览用的GUI（代码如下）：

'''demo'''
class JokeDemo(QWidget):
    def __init__(self, parent=None, **kwargs): 
       super(JokeDemo, self).__init__(parent)       
 self.all_jokes = self.load()       
 # 定义组件       
 self.setWindowTitle('随机浏览段子 - 小鱼Python')        self.setWindowIcon(QIcon('data/icon.jpg')) 


现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。



分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

![](https://img-blog.csdnimg.cn/img_convert/21b2604bd33c4b6713f686ddd3fe5aff.png)



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**