我是如何用Python制作出知乎问答收集工具的?

本文介绍了如何使用Python制作一个知乎问答收集工具,通过面向对象编程方法,结合Tkinter构建界面,利用requests、json、csv等库进行数据处理和存储。详细讲解了从导入包到定义爬虫类、构造函数、类方法的全过程,以及如何通过分析Ajax请求获取数据。
摘要由CSDN通过智能技术生成

我是如何制作知乎问答收集工具的?

标签:Pyhon源码 教程 知乎爬虫

此贴仅作技术交流!


效果展示


之前发过一款软件知乎问答收集器,没想到有这么多人喜欢,我看到评论区还有和我一样的Pyhon爱好者求源码,那么今天源码来啦!这次的源码跟我以前发的代码思路有点不一样了,这次采用严格面向对象的编程思想来写的代码,小白看起来可能就比较吃力了,所以我大概讲解一下,如果讲得不好也请大佬轻喷,本次编程使用的知识点主要有以下:

  1. 面向对象的编程方法,代码里一切皆为对象
  2. Tkinter包的使用,绘出普通用户也能使用的软件界面
  3. 伪装请求头headers,使网站无法辨认出访问它的是Python还是浏览器。
  4. 利用cookie登陆,解除未登录用户只能爬取一页的限制。
  5. 分析ajax请求,推测每个参数代表的意义。
  6. 利用json包解析返回的json数据
  7. 用csv包把数据存储在csv文件中(Excel可以直接打开)

pic1
一共三个Python文件,第一个文件Spider.py是我第一次写的,单文件补上cookie可以运行没有依赖其它文件。后面的SSpider.py和tk_main.py是我写的图形界面,程序入口为tk_main.py文件,SSpider.py也就是把Spider.py的代码复制过去做了一点点适合图形界面的修改,然后作为包导入tk_main.py使用,发出来的那个软件就是这两个文件进行的打包,代码量较大,我就不全部发在贴子里,而把完整的三个文件代码都分享到Github,但是讲解我就讲解第一个Spider.py文件,后面的图形界面tkinter的话你如果学过一看就懂,没学过我也不好讲,你们就自己看咯。Github源码点击这里就可以看到啦!不会用Github的坛友没关系,我还会在下面的附件传一份!


教程

1. 首先导入所需要的包</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值