Python爬虫实习笔记 | Week5 Daliy工作内容概要与反思

2018/11/12
1.所思所想：
今天上午搞分布式爬虫项目，发现自己还是无法跑通，希望自己熟练之后能够顺利解决。
下午就是把自己的想法付诸实践，就是将后台脚本进行封装，从而有利于复用，自己有一本《重构》的书，很有可能对自己这方面的想法有帮助，等《国富论》看完后，就看这本书。
晚上自己的时间利用的不好，原因在于没有制定比较明确的学习目标。我觉得合理的时间是5:30下班，6:00吃完饭，6:50到图书馆，7:00正式开始学习。之后必须付诸行动。

2.工作：
【1】.自己运行的简单分布式爬虫还没有成功，目前停留在没有task,可能是因为没有传参数的原因吧，下面继续学习动态网站的抓取，掌握更多的爬虫技能。
【2】.额外任务：56 通化
【3】.行政处罚：
170武汉市 17  http://hbj.wuhan.gov.cn/zjZcdxzjd/index.jhtml | main_tasks完成 main_punishment完成
171黄石市 17  http://hbj.huangshi.gov.cn/zwgk/xzcf1/index.html | main_tasks完成
172十堰市 17  pdf格式 未处理
173宜昌市 17 js动态加载，之后处理  http://xxgk.yichang.gov.cn/list.html?depid=873&catid=127#page=1
174襄阳市 17 http://hbj.xiangyang.gov.cn/hjxx/wryhjjgxxgkl/xzcf/  | main_tasks完成   额，，内容为图片。。。
175鄂州市 17 http://hbj.ezhou.gov.cn/Ilist.aspx?itid=35  main_tasks和main_punishment完成
176荆州市 17 http://wap.hbj.jingzhou.gov.cn/news_list.aspx?category_id=136  -- 176是荆门

2018/11/13
1.所思所想：
事在人为，努力践行！

2.工作：
【1】.
蔚蓝地图：
1.keycode的含义;
2.78-79行代码有问题；
3.99行页码超出最后一页
4.80行url
5.99行页码超出最后一页，没有数据

2018/11/14
1.所思所想：
今天一天感觉到兴奋和紧张。一是自己的实习工作任务蛮紧张，今天被安排了检测的任务，但没有压力也不会有动力，会努力会加油！
下午主要就是把自己的行政处罚任务完成，然后还是按照自己的规划，努力做好自己该做的就行。
中午和Momenta市场部实习生交流了会儿，我觉得自己的自信程度有待加强，待人处事虽要谦虚，但不能陷入自卑的境地，要努力挖掘自己的潜能，抱一颗平常心。
晚上看《国富论》看不进去，原因在于，一是和屈君交流，使自己感到心境不能平和，二是《国富论》文言格式，确实较难读通，我觉得还是要多做笔记。

2.工作：
【1】.如果数据库中有城市信息，就选择main_tasks不插入;
【2】.如果
177 孝感市 http://www.xghbj.gov.cn/news_list.aspx?type=102&dhid=1  额，内容以图片和文件
178 荆州市 在上面爬完
176 荆门市 完成
179 黄冈市 http://hbj.hg.gov.cn/wry/hjjc/xzcf/index.html
180 咸宁市 http://hbj.xianning.gov.cn/html/ShenXiGongKai/HuanBaoYeWuShenXiGongKai/HuanJing/HuanJingHuiFaAnJianChaChuShenXiGongKai/
181 随州市 门户已停 在政府网站没找到
182 恩施土家族苗族自治州 http://hbj.enshi.gov.cn/zhbj/hjgl/xzcf/

2018/11/15
1.所思所想:
昨晚看了视频《三十六计》，深感古人用兵之精进，能熟稔兵法者，既要有优秀的个人品质，也要有过人的智慧，由此方能成就自己成就国家。为了攻克赵国，孙膑给庞涓出了“上屋抽梯”的计策，一方面使己方士兵拼死一战，另一方面断了赵军的退路，从而赵国投降，实在是妙。另庞涓与孙膑手足情谊，然庞涓却因嫉贤妒才“笑里藏刀”暗中陷害，忘却利害关系终会使他后悔，比如没有顾及谋士公孙对钟离姑娘的喜爱，没有包罗天下英才之心，如此等等。后来，孙膑“假痴不癫”，使自己求得生路，用“金蝉脱壳”之计逃亡齐国。
昨天上午，又认真看了蔚蓝的代码，初次理解某物，一定要有足够的耐心，要多思多问，方能求得真本领。
中午楼下的饭菜口感可人，要思考的是，如何省钱，以及如何吃的营养充足。
下午跑了动态网站的代码，终于跑通，涕泗横流。明天接着看PhantomJS+Selenium部分。

2.工作：
【1】.将蔚蓝那边的代码看一下，再理解了一遍。
【2】.自己的动态网站抓取终于成功，但还是遇到了最后一个问题，就是，数据库中居然没有表的信息，很奇怪，一定要搞明白。

2018/11/16
1.所思所想：
今天过得比较水，啊这周安排的任务早早地完成了，所以比较惬意，但不可大意，在专业上，自己不过燕雀而已。当我回顾系里优秀同学，内心惭愧，我需要花更多的时间和精力去完善自己，这样，才不至于使家人担心，使自己自信，使朋友有所依靠。
齐国田忌大将军与魏国常打败仗，引得相国不屑与耻笑，后与大王赛马，终不能赢，后听从孙膑建议，“李代桃僵”，用下等马的失利换取上等马和中等马的胜利，此乃真正勘察事情冲破思维桎梏也。后田忌将孙膑举荐给大王，大王很欣赏。魏国伐赵，齐王犹豫不决是否救赵，孙膑切中要害，以“围魏救赵”之计破庞涓之军，此计旨在说明人或任何事物都有其精力的主要集中点，前部强大，必然后部空虚，击打敌人柔弱部分，方能事半功倍。

2.工作：
把这周的任务转成sql文件发给刘凤成学长，另外，把python网络爬虫好好精熟下。