2021-10-16

经过一个月的时间，终于实现了原先的规划！
1.初步学习了uniapp
2.学习了python语言，应用pyCharm编辑，scrapy爬虫框架
3.学习了基本正则获取数据，写入文本，写入数据库两种获取方式。
4.断点调试debug
5.编辑多个爬虫程序，同时可以运行，并且可以定时
6.爬取前与数据库查询重复信息，如果有重复，则放弃。爬取成功后再一次执行sql语句去重复。而且使用数据床池减少访问量，提升爬取速度
7.对接uniapp云数据库，因为使用的unicloud相对独立，只好通过云函数url化，准数据传入unicloud
感觉一个多月除了日常工作，基本都在思考，也实现了多年前的这个想法，很高兴，很有成就感！