2014年11月_SimpleUmbrella

12月 11月

原创我的svn配置

linux服务器：svnadmin create /home/svn/myrepo (myrepo是版本库名)authz:[group][/]name = rwpasswd:name = namepasswdserver.confanonuser = readauthuser = writezuth_da = authzpass_d

2014-11-29 12:28:57 10504

转载 scrapy-mysql

最近用scrapy来进行网页抓取,对于pythoner来说它用起来非常方便,详细文档在这里:http://doc.scrapy.org/en/0.14/index.html要想利用scrapy来抓取网页信息,需要先新建一个工程,scrapy startproject myproject工程建立好后,会有一个myproject/myproject的子目录,里面有item.py(由于你

2014-11-22 12:44:52 1951

转载发布分布式版本的spider了[hispider]

http://www.chinaunix.net/old_jh/23/1257018.html 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载. 工作流程: 从中心节点取URL(包括URL对应的任务号, IP和port,也可能需要自己解析)

2014-11-21 11:12:31 858

原创如何安装PIL--*** TKINTER support not available---IOError: cannot identify image file

ImportError: libjpeg.so.8: cannot open shared object file: No such file or directory

2014-11-20 16:19:10 5389

原创 PIL IOError: cannot identify image file 'images/1212.jpg'的解决办法

instead ofimport Imagefixed the issue

2014-11-20 16:16:38 7568

原创 Our dream

I want to establish a paltform to grep some usefull, which uses scrapy tool.so ,if

2014-11-17 17:20:24 631

转载 Git错误non-fast-forward后的冲突解决

当要push代码到git时，出现提示：error:failed to push some refs to ...Dealing with “non-fast-forward” errorsFrom time to time you may encounter this error while pushing:$ git push origin master

2014-11-17 16:30:32 509

转载 github简单使用教程

github是一个基于git的代码托管平台，付费用户可以建私人仓库，我们一般的免费用户只能使用公共仓库，也就是代码要公开。对于一般人来说公共仓库就已经足够了，而且我们也没多少代码来管理，O(∩_∩)O~。下面是我总结的一些简单使用方法，供初学者参考。1.注册账户以及创建仓库要想使用github第一步当然是注册github账号了。之后就可以创建仓库了（免费用户只能建公共仓库），Creat

2014-11-17 16:10:49 602 1

转载使用scrapy进行大规模抓取

原文：http://www.yakergong.net/blog/archives/500使用scrapy有大概半年了，算是有些经验吧，在这里跟大家讨论一下使用scrapy作为爬虫进行大规模抓取可能遇到的问题。我们抓取的目标是教育网上的网站（目前主要针对.edu.cn和.cas.cn/.cass.cn域名），这半年里抓取了百万以上的url，其实百万url的规模不算大，我们一直在断断

2014-11-12 11:50:02 4841

原创 centos6.5系统可用yum源(32位)以及rpmforge

[10gen]name=10gen Repositorybaseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686gpgcheck=0# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and

2014-11-12 10:51:45 2687

转载 sed命令详解

转载：http://blog.chinaunix.net/u/22677/showart_1076318.html 1.简介sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），

2014-11-12 10:34:59 505

转载 SQL Relay使用

一、SQL Relay是什么？SQL Relay是一个开源的数据库池连接代理服务器二、SQL Relay支持哪些数据库？* Oracle* MySQL* mSQL* PostgreSQL* Sybase* MS SQL Server* IBM DB2* Interbase* Sybase* SQLite* Lago*

2014-11-12 10:31:48 1015

转载淘宝的十年技术之路

2014-10-15 分类：程序员人生1人评论来源：内向爆裂分享到：更多19最近有幸，在学校的图书馆借到了子柳先生的《淘宝技术这十年》，拜读一番，感慨万分。一、淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB内存，40PB存储容量

2014-11-12 10:10:16 1709

转载使用Scrapy建立一个网站抓取器

英文原文：Build a Website Crawler based upon Scrapy标签： Scrapy Python209人收藏此文章, 我要收藏renwofei423 推荐于 11个月前 (共 9 段, 翻译完成于 12-30) (14评) 参与翻译(3人)：LeoXu, BoydWang, Garfielt仅中文 | 中英文对照 |

2014-11-12 09:42:21 1905

转载 python问题：IndentationError:expected an indented block错误解决

分类： python学习笔记2012-07-07 17:59 28433人阅读评论(4) 收藏举报python语言原文地址：http://hi.baidu.com/delinx/item/1789d38eafd358d05e0ec1df Python语言是一款对缩进非常敏感的语言，给很多初学者带来了困惑，即便是很有经验的Python程序员，也可能陷入

2014-11-11 18:04:33 1972

转载 PYTHON-SCRAPY-WINDOWS下的安装笔记

分类： Crawler.Net Python2014-05-15 13:36 127人阅读评论(0) 收藏举报PYTHON SCRAPY1、安装PYTHON2.7.6，下载地址：https://www.python.org/downloads/安装成功显示：2、先安装pywin32，在http://sourceforge.net/projects/p

2014-11-11 17:59:45 831

转载 Scrapy入门教程

Scrapy入门教程关键字：scrapy 入门教程爬虫 Spider作者：http://www.cnblogs.com/txw1958/出处：http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html 在这篇入门教程中，我们假定你已经安装了Scrapy。如果你还没有安装，那么请参

2014-11-11 17:48:42 753

转载 Centos 6.5 安装 Scrapy 0.22.2成功

0. python -V 1. yum -y update 2. yum groupinstall -y development 3. yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel 4. wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.t

2014-11-11 17:26:52 1497