python爬虫

架构：两个模块

1. 爬虫：爬取数据，存入mongodb。

2. 分析：读取mongodb数据，然后用matplotlib和pandas分析。

 

参考：https://blog.csdn.net/litao0942051021/article/details/86663921

 

注意：

整合代码：https://blog.csdn.net/qq_30613521/article/details/103754741

---

存入数据库问题：在pyqt5中用脚本开启scrapy框架，一定要把get_project_settings()这句传递给scrapy 用于加载默认配置，如果

不传递，scrapy就只知道爬数据，不管什么管道什么中间件，什么处理封装item数据。

有关scrapy中的settings说明：https://blog.csdn.net/qq_41020281/article/details/81989997

from scrapy.utils.project import get_project_settings
#通过该语句获取settings

settings = get_project_settings()
process = CrawlerProcess(settings)

 

---

pandas读取mongoDB数据库：

https://ask.hellobi.com/blog/zmister/10454

---

在pyqt5嵌入matplotlib图形：

https://blog.csdn.net/panrenlong/article/details/80183519

https://blog.csdn.net/weixin_41137248/article/details/88895335

 

matplotlib核心剖析（讲了figure、canvs对象之间的关系）：

https://www.cnblogs.com/vamei/archive/2013/01/30/2879700.html

 

matplotlib显示中文：https://blog.csdn.net/u013038499/article/details/52449768

 

matplotlib饼图：https://www.jianshu.com/p/0a76c94e9db7

 

pyqt5窗口自适应：https://blog.csdn.net/woshiwangxin0/article/details/78659209