Python爬虫实习笔记 | Week8 Daliy工作流水

2018/12/3
1.所思所想
今天时间过得好快，自己还有很多事情没有做好，从今天起，每天解决一个公司项目中遇到的难题，这样，才能将自己所学运用于实践。
2.工作
暂时将《核心编程》的数据库编程部分看完，这样，之后更改时间更新的代码会游刃有余。
之前的《核心编程》多线程编程以及网络编程还需要细细总结。

2018/12/4
1.所思所想
今天主要可以做自己的事情，这真的是一件很爽的事情，主要解决了4个问题，这在工作部分有说明。另外，自己的Scrapy框架部分还没有开始看，四川21市还没有开始爬，需要注意时间。
2.工作：
【1】.今天蔚蓝地图的数据爬取出现问题，问题原因在于Cookie过期，后来将pageSize改为1000(网页没有那么大的值)，后可以顺利爬取完成；
【2】.昨天讨论了数据库中表的变更问题，今天得到妥善解决；
【3】.主函数中的test_url可以从数据库中读取；
【4】.城市和省份根据城市名从数据库中读取，而不需要每次手动，这样可以避免很多错误。

[1].行政处罚的更新模块完成；
[2].监测数据需要将黄云云走后重新刷一遍。
[3].Scrapy框架需要认真看。
[4].《核心编程》需要总结
[5].行政处罚中的各数据段需要模块化；
[6].标准：240

2018/12/5
1.所思所想
加油！
2.工作
【1】.数据库操作
【2】.《MySQL技术内幕》

2018/12/6
1.所思所想
最近比较急躁，原因在