2013年11月_zhaixh_89

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

转载 python之shutil模块

[python] view plaincopyprint?shutil -- High-level file operations 是一种高层次的文件操作工具类似于高级API，而且主要强大之处在于其对文件的复制与删除操作更是比较支持好。相关API介绍 ?copyfile(src, dst) 从源src复制到dst中去。当然前提是目标地址是

2013-11-29 10:52:30 619

转载 Python抓取框架Scrapy入门教程

我们将使用开放目录项目(dmoz)作为抓取的例子。这篇入门教程将引导你完成如下任务：创建一个新的Scrapy项目定义提取的Item写一个Spider用来爬行站点，并提取Items写一个Item Pipeline用来存储提取出的ItemsScrapy是由Python编写的。如果你是Python新手，你也许希望从了解Python开始，以期最好的使用Scrapy。如果你对其它编程

2013-11-26 17:10:44 928

转载 Some Experiences Of Using Scrapy

About ScrapyScrapy是一个抓取网站的框架，用户需要做的只是定义抓取网站的spider，并在其中定义抓取的规则，获取需要抓取的数据，Scrapy管理其他复杂的工作，比如并发请求，提取之后的数据保存等。Scrapy 声称他们“偷取”了Django的灵感，虽然两者的方向怎么都联系不到一起去，但是确实如果对Django有了解，对Scrapy的结构会感到很亲切。 Scrapy也会有项

2013-11-26 15:51:58 657

转载 scrapy使用方法概要

一般所说的爬虫工作分为两个部分，downoader 和 parser：downloader输入是url列表，输出抓取到的rawdata，可能时候是html源代码，也可能是json，xml格式的数据。parser输入是第一部分输出的rawdata，根据已知的规则提取所需的info图1. 简单爬虫图1所示的是最简单的爬虫，不考虑解析url，并把rawdata中的url提取做进一

2013-11-26 14:59:17 1027

原创 Scrapy安装过程

一、Scrapy简介Scrapy is a fast high-level screenscraping and web crawling framework, used to crawl websites and extractstructured data from their pages. It can be used for a wide range of purposes,from

2013-11-25 10:05:59 657

转载 python遍历文件夹和文件

在Python中，文件操作主要来自os模块，主要方法如下：os.listdir(dirname)：列出dirname下的目录和文件os.getcwd()：获得当前工作目录os.curdir:返回当前目录（'.')os.chdir(dirname):改变工作目录到dirnameos.path.isdir(name):判断name是不是一个目录，name不是目录就返回false

2013-11-21 20:43:19 674

转载 python下的MySQLdb使用

下载安装MySQLdblinux版本http://sourceforge.net/projects/mysql-python/ 下载，在安装是要先安装setuptools，然后在下载文件目录下，修改mysite.cfg,指定本地mysql的mysql-config文件的路径windows版本网上搜索到一个http://www.technicalbard.com/files/MySQ

2013-11-21 17:41:45 621

转载 C++调用PythonAPI线程状态和全局解释器锁（转）

Python 解释器不是完全线程安全的。当前线程想要安全访问Python对象的前提是获取用以支持多线程安全的全局锁。没有锁，甚至多线程程序中最简单的操作都会发生问题。例如，两个线程同时增加一个对象的引用计数，该引用计数可能只增加了一次而非两次。因此，存在一个规则：只有获得了全局解释器锁的线程才能操作 Python对象或者调用Python/C API函数。为了支持多线程Python编

2013-11-14 19:07:58 2228

转载 Python常见文件操作的函数示例

# -*-coding:utf8 -*- ''''' Python常见文件操作示例 os.path 模块中的路径名访问函数分隔 basename() 去掉目录路径, 返回文件名 dirname() 去掉文件名, 返回目录路径 join() 将分离的各部分组合成一个路径名 split() 返回(dirname()

2013-11-14 09:59:14 615

原创 c++中调用python总结

最近，由于项目需求研究了下在c++中调用python代码的方法，其中遇到了不少问题，但最终还是予以解决，为了以后能更好的运用它，现将使用心得总结一下：当我们在c++程序嵌入Python解析器执行一些简单的Python 脚本脚本很容易，但是当python解析器用到扩展模块时和多个线程都需要Python解析器执行脚本时，会遇到程序异常终止的问题相关文档：http://docs

2013-11-06 17:43:41 2097

转载 Python 解析器

嵌入Python解析器执行一些简单的Python 脚本脚本很容易，但是当python解析器用到扩展模块时和多个线程都需要Python解析器执行脚本时，遇到了一些麻烦问题，下面是在查看帮助文档过程中，一些简单的翻译记录：　　　　Py_NewInterpreter():　　 Create a new sub-interpreter. This is an (almost) totally

2013-11-06 12:23:45 3026

转载 vc编译选项解释

VC编译选项 /Od 禁用优化（默认值） disable optimizations (default) /Ox 最大化选项。(/Ogityb2 /Gs) maximum opts. (/Ogityb1 /Gs) /Og 启用全局优化 enable global optimization /Oy[-] 启用框架指针省略 enable frame pointer omission

2013-11-01 11:59:00 700

转载 APR介绍

APR分析-整体篇由于部门所使用的底层库与Apache Server有着“一定的渊源”，所以总有一种想看看Apache的实现的冲动。最近项目收尾，愿望终可实现。一、何为APR?Apache Server经过这么多年的发展后，将一些通用的运行时接口封装起来提供给大家，这就是Apache Portable Run-time libraries, APR。

2013-11-01 11:55:52 2868