younghz

不论怎样,保持前进。

Scrapy研究探索(七)——如何防止被ban之策略大集合

话说在尝试设置download_delay小于1,并且无任何其他防止被ban的策略之后,我终于成功的被ban了。如下: 敌退我进,敌攻我挡。 本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。 1.策略一:设置download_delay 这个在之前的教程中已经使用...

2014-06-29 10:45:54

阅读数:37700

评论数:3

Git协同工作之——非快进式推送

非快进推送(non-fast-forwardupdates)在远程版本库和当前版本库内容不一致时推送所致,引起原因一般为在多成员协同工作下,其他用户在当前用户版本库上次commit和本次commit之间向远程版本库执行了推送所致。 出现非快进式推送的日志: 图1 这是我们可以...

2014-06-30 21:42:07

阅读数:5293

评论数:1

《如何阅读一本书》读后

读时做的笔记。

2014-06-30 12:23:46

阅读数:3963

评论数:0

Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)

一.目的。 在教程(二)(http://blog.csdn.net/u012150179/article/details/32911511)中使用基于Spider实现了自己的w3cschool_spider,并在items.py中定义了数据结构, 在pipelines.py中实现获得数据的过滤以及...

2014-06-26 21:31:17

阅读数:45281

评论数:4

PYTHON风格规范——Google 开源项目风格指南

Python风格规范 分号 Tip 不要在行尾加分号, 也不要用分号将两条命令放在同一行. 行长度 Tip 每行不超过80个字符 例外: 长的导入模块语句注释里的URL 不要使用反斜杠连接行. Python会将 圆括号, 中括...

2014-06-26 08:49:58

阅读数:5607

评论数:0

Scrapy研究探索(五)——自动多网页爬取(抓取某人博客所有文章)

首先,在教程(三)()中

2014-06-25 20:20:23

阅读数:44989

评论数:10

Scrapy研究探索(四)——中文输出与中文保存

提取网页中中文并输出或者是保存时经常会吃

2014-06-25 17:23:23

阅读数:21244

评论数:0

Scrapy研究探索(三)——Scrapy核心架构与代码运行分析

学习曲线总是这样,简单例子“浅尝”,在从理论+实践慢慢攻破。理论永远是基础,切记“勿在浮沙筑高台”。 一. 核心架构 关于核心架构,在官方文档中阐述的非常清晰,地址:http://doc.scrapy.org/en/latest/topics/architecture.html。 英文有障碍可...

2014-06-25 16:37:11

阅读数:22440

评论数:2

scrapy研究探索(二)——爬w3school.com.cn

下午被一个问题困扰了好一阵,最终使用另一种方式解决。 开始教程二,关于Scrapy安装、介绍等请移步至教程(一)(http://blog.csdn.net/u012150179/article/details/32343635)。 在开始之前假设你已经成功安装一切所需,整怀着一腔热血想要抓取某...

2014-06-21 09:50:13

阅读数:44923

评论数:21

Scrapy研究探索(一)——基础入门

一.Scrapy介绍 二.知识准备 三.

2014-06-19 20:52:32

阅读数:29665

评论数:0

各大企业都在用什么语言/框架

众所周知,不同语言都有特定的适用放下

2014-06-14 13:57:11

阅读数:5091

评论数:0

readthedocs、github 、sphinx

查资料啊,查资料。

2014-06-13 19:53:24

阅读数:4729

评论数:0

少有人走的路,心智成熟的旅程

闲暇时间,又翻了翻这本书,正文的第一句话又让自己感受颇深。 “人生苦难重重。 这是一个伟大的真理,是世界上最伟大的真理之一。他的伟大,在于我们一旦想通了它,就能实现人生的超越。只要我们只带人生是艰难的——只要我们真正理解并接受这一点,那么我们再也不会对人生的苦难耿耿于怀了。” 整个第...

2014-06-11 12:28:42

阅读数:3246

评论数:0

微软CodePlex平台开源项目TOP10

转自: CodePlex是一个由微软创建的Open Source网站,在此网站中所发布的所有程序都可以下载源代码使用,目前它已经成为微软软件的周边组件或扩展的发布管道。 2009年9月10日,CodePlex开放源代码基金会(CodePlex Foundation)成立,该基金会主要采用论坛形...

2014-06-10 17:51:47

阅读数:3246

评论数:0

百度开源项目

百度开源项目。1. 百度超级搜霸(现为 百度工具栏) 2006年百度与国家信息产业部软件与集成电路促进中心 (CSIP)宣布 正式达成合作。合作双方将在开源软件领域展开多方面的合作,共同促进我国开源软件产业的发展。这可能是百度第一次高调的宣布步入开源行列。双方合作后,联合开发了基于Fir...

2014-06-10 17:49:38

阅读数:3513

评论数:0

C++中的虚函数(virtual function)

关于虚函数与多态,看书时总以为自己懂了,

2014-06-07 09:54:02

阅读数:3122

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭