- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 [Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常
前言 使用scrapy进行大型爬取任务的时候(爬取耗时以天为单位),无论主机网速多好,爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量,总有一部分种子爬取失败,失败的类型可能有如下图两种(下图为scrapy爬取结束完成时的日志):scrapy中常见的异常包括但不限于:download error(蓝色区域), http code 40...
2018-06-15 16:29:50 35918 35
原创 [开源库学习] Numpy日记 Section.2
前言 最近入门Data anaysis,将numpy学习日记分享出来,也当做个记录。 【Numpy官网学习地址】:Click Here 备注: 我尽可能的将官网快速教程中的case都贴出来了,但越往下发现这个库是真的庞大,教程也是由浅及深,后面会涉及到向量、线性代数等高数概念,这个本文中不会提到,需要的话自行前往官网查看。这个日记分为两个Section,加起来可能占到官网快速...
2018-06-13 17:54:46 361
原创 [开源库学习] Numpy日记 Section.1
前言 最近入门Data anaysis,将numpy学习日记分享出来,也当做个记录。 【Numpy官网学习地址】:Click Here 备注: 我尽可能的将官网快速教程中的case都贴出来了,但越往下发现这个库是真的庞大,教程也是由浅及深,后面会涉及到向量、线性代数等高数概念,这个本文中不会提到,需要的话自行前往官网查看。这个日记分为两个Section,加起来可能占到官网快速...
2018-06-13 17:48:00 389
原创 [巩固基础]总结Python基础知识的14张思维导图
闲聊 有时候总感觉自己的代码太low,却又没有什么办法去改善,就很气! 不知道作为看官的你是否由此感受呢,不过最近我找到办法解决这个问题了,那就是巩固基础--系统的学习python初级、高级语法,一段时间后,我明显感觉到自己的代码变得更简洁、优美,coding的心情也变的舒畅~ 就此分享一波仓库的资料:包含Python基础知识的14张思维导图-PDF,希望有所帮助。...
2018-06-06 14:42:26 1273
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人