python
lionzl
轻财足以聚人,律己足以服人,量宽足以得人,身先足以率人
展开
-
Improve Your Python: 'yield' and Generators Explained
都是转的,中英文对照提高你的Python: 解释‘yield’和‘Generators(生成器)’在开始课程之前,我要求学生们填写一份调查表,这个调查表反映了它们对Python中一些概念的理解情况。一些话题("if/else控制流" 或者 "定义和使用函数")对于大多数学生是没有问题的。但是有一些话题,大多数学生只有很少,或者完全没有任何接触,尤其是“生成器和yield关键字”。我转载 2013-05-05 17:18:37 · 1249 阅读 · 0 评论 -
Scrapy开发
Scrapy开发分类: python |2013-07-30 16:34 |279人阅读最近要开发一个软件需要爬取网站信息,于是选择了python 和scrapy下面做一下简单介绍:Scrapy安装连接,scrapy官网连接所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个转载 2013-12-07 17:45:20 · 837 阅读 · 0 评论 -
Linux(RedHat,Centos)上scrapy详尽安装笔记 【转】
摘要: 原创作者:博客园sharpstill,转载请注明Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。我 ...原创作者:博客园sharpstill,转载请注明Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很转载 2013-12-07 23:25:16 · 993 阅读 · 0 评论 -
Some Experiences Of Using Scrapy
Some Experiences Of Using ScrapyPosted@2011-05-28 10 p.m.Categoriespython , scrapyAbout ScrapyScrapy TutorialFAQ That Not Included In ManualOther TricksAbo转载 2013-12-02 11:37:58 · 715 阅读 · 0 评论 -
scrapy 示例代码及配置文件
【请初学者作为参考,不建议高手看这个浪费时间】 上一篇文章,我们抓取到了一大批代理ip,本篇文章介绍如何实现downloaderMiddleware,达到随即使用代理ip对目标网站进行抓取的。 抓取的目标网站是现在炙手可热的旅游网站 www.qunar.com, 目标信息是qunar的所有seo页面,及页面的seo相关信息。qunar并没有一般网站具有的 robots.txt文转载 2013-12-02 11:40:31 · 1085 阅读 · 0 评论 -
Programmatic access to Exchange 2010 using EWS, SOAP, and Python
Programmatic access to Exchange 2010 using EWS, SOAP, and PythonPosted on September 19, 2012 by Alexander DuttonI’ve previously blogged about accessing Exchange (2007) using suds and转载 2014-04-29 20:15:21 · 1150 阅读 · 0 评论 -
数据抓取的艺术(一~三):Selenium+Phantomjs数据抓取环境配置
数据抓取是一门艺术,和其他软件不同,世界上不存在完美的、一致的、通用的抓取工具。为了不同的目的,需要定制不同的代码。不过,我们不必Start from Scratch,已经有许多的基本工具、基本方法和基础框架可供使用。不同的工具、不同的方法、不同的框架的特点也不同。了解这些工具、方法和框架是首要任务,接下来就需要明白它们的差异都在哪里、什么情境该用什么东东,最后才是析出规则、编写代码、运行程序来抓转载 2014-04-03 18:36:21 · 1741 阅读 · 4 评论 -
How to pass SOAP headers into python SUDS that are not defined in WSDL file
I have a camera on my network which I am trying to connect to with suds but suds doesn't send all the information needed. I need to put extra soap headers not defined in the WSDL file so the camera ca转载 2014-05-14 17:09:31 · 1710 阅读 · 0 评论 -
Python中单元测试框架Nose的安装
Python中单元测试框架Nose的安装安装setuptoolsdownload地址:http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz#md5=7df2a529a074f613b509fb44feefe74e$ tar xzvf setuptools-0.6c转载 2014-07-16 19:57:34 · 799 阅读 · 0 评论 -
Using Scrapy with authenticated (logged in) user session
Using Scrapy with authenticated (logged in) user sessionup vote12down votefavorite15In the Scrapy docs, there is the following example to illustrate how转载 2014-07-17 17:55:05 · 1237 阅读 · 0 评论 -
Python特殊语法这之:filter、map、reduce、lambda(转自“玩玩python”)
Python特殊语法这之:filter、map、reduce、lambda(转自“玩玩python”)Python内置了一些非常有趣但非常有用的函数,充分体现了Python的语言魅力!filter(function, sequence):对sequence中的item依次执行function(item),将执行结果为True的item组成一个List/String/转载 2013-11-13 20:58:48 · 779 阅读 · 0 评论 -
Scrapy安装介绍及入门
Scrapy安装介绍一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide转载 2013-11-21 18:15:00 · 1229 阅读 · 0 评论 -
Python扩展方法及工具比较
Python扩展方法及工具比较作者:ruddy2005-04-14 11:21分类:默认分类标签:一、普通扩展方法 扩展Python包括三个步骤:1. 创建源程序(C, C++, java, ...);2. 为源程序写wrap代码; 包括四个步骤:Ø include "Python.h";Ø 为每个模块函数写wrap,即:PyOb转载 2013-05-27 16:13:35 · 780 阅读 · 0 评论 -
利用cx_Freeze将py文件打包成exe文件(图文全解)
利用cx_Freeze将py文件打包成exe文件(图文全解) 2011-09-10 13:18:51标签:cx_freezepython打包 去除黑窗口 休闲 狼之舞蹈原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://keliang.blog.51cto.com/3359430/661884转载 2013-06-17 12:42:59 · 1105 阅读 · 0 评论 -
使用 python 开发 Web Service
使用 python 开发 Web Service刘 明 (ovis_poly@sina.com), 软件工程师, 上海交通大学电子与通信工程系陈 华泉 (chenhuaquan@21cn.com), 软件工程师, 上海交通大学软件工程学院简介: Python 是一种强大的面向对象脚本语言,用 python 开发应用程序往往十分快捷,非常适用于开发时间要求苛刻的原转载 2013-07-08 22:47:28 · 1066 阅读 · 0 评论 -
Python开发WebService--使用soaplib库
Python开发WebService--使用soaplib库 2012-05-05 08:55:29 我来说两句 收藏 我要投稿使用soaplib开发基于Python语言的WebService主要有以下四个步骤:一、准备环境 S1:下载插件Python、soaplib、Twisted、lxml(soaplib依赖于lxml这个库) S2:使用转载 2013-07-08 23:29:29 · 1163 阅读 · 0 评论 -
Python 设置系统默认编码
Python 设置系统默认编码博客分类: Python基础Python python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in ran转载 2013-09-01 21:18:49 · 936 阅读 · 0 评论 -
python+Selenium2+chrome构建动态网页爬虫工具
python+Selenium2+chrome构建动态网页爬虫工具分类: python-web2013-06-30 11:23 842人阅读 评论(0) 收藏 举报 网页爬虫分为静态网页爬虫和动态网页爬虫,前者是指索要获取的网页内容不需要经过js运算或者人工交互,后者是指获取的内容必须要经过js运算或者人工交互。这里的js运算可能是ajax,人工交互不需要解释转载 2013-11-19 18:47:21 · 2120 阅读 · 0 评论 -
python win8 安装 ez_setup错误解决办法 UnicodeDecodeError: 'ascii' codec can't decode byte
python 2.7 安装目录修改mimetypes.py文件增加如下内容即可。import osimport sys#the following two line solve the "python ez_setup.py" install errorreload(sys) sys.setdefaultencoding('gb18030')#endim原创 2013-11-20 10:55:08 · 3833 阅读 · 3 评论 -
Python的包管理工具
Python的包管理工具博客分类: Pythonpython 刚开始学习Python时,在看文档和别人的blog介绍安装包有的用easy_install, setuptools, 有的使用pip,distribute,那麽这几个工具有什么关系呢,看一下下面这个图就明白了可以看到distribute是setuptools的取代,pip是easy转载 2013-11-20 11:08:12 · 1411 阅读 · 0 评论 -
如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站
如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站2012 年 12 月 8 日 下午 3:53crifan已有9549人围观6个评论背景在网络,网页,网站处理方面,很多人都遇到过,想要用某种语言(Python,C#等),去实现一些需求,常见的有这几大类:想要从某静态网页中,提取某些内容想要抓取某些动态网页中的某些内容想转载 2013-11-19 22:22:54 · 1591 阅读 · 0 评论 -
python 结束线程
class Example(object): def __init__(self): self.stop = threading.Event() self.connection = Connection() self.mythread = Thread(target=self.dowork) self.mythread.start()转载 2014-07-27 10:46:28 · 822 阅读 · 0 评论 -
简明 Python 编程规范
注:之前发布一篇《简明 Python 编程规范》(见:http://blog.csdn.net/lanphaday/article/details/2834883),本是我给当时所在的公司制定的,发表到博客的时候,对齐等问题都有一些错误,还包括一些错别字。到后来,我又有做过修正。大概在 2010 年 8 年,我又由 C++ 开发转到 Python 开发,便在那之前的基础上润饰和完善,形成第二版转载 2014-07-07 20:58:46 · 505 阅读 · 0 评论 -
验证过的模拟登录的方式,结合scrapy和selenium(phantom)
rom scrapy.spider import BaseSpiderfrom scrapy.http import Response,FormRequest,Requestfrom scrapy.selector import HtmlXPathSelectorfrom selenium import webdriverclass MySpider(BaseSpider): n转载 2014-07-27 10:26:59 · 1614 阅读 · 0 评论 -
python往mysql的blob字段写入二进制数据
Python Cookbook, 2nd EditionRecipe 7.10. Storing a BLOB in a MySQL DatabasePython code?12345678910111213141516转载 2015-01-06 22:25:15 · 6610 阅读 · 0 评论 -
将linux默认python升级到2.7.4版本
将linux默认python升级到2.7.4版本 (2013-05-25 23:21:09)转载▼标签: linux python 升级 centos python2.7分类: python第一步:下载python2.7.4版本源码:wget http://p转载 2015-09-01 15:31:31 · 549 阅读 · 0 评论 -
探索 Pexpect,第 2 部分:Pexpect 的实例分析
概述通过本系列第一部分《探索 Pexpect,第 1 部分:剖析 Pexpect 》(请参阅参考资料)的介绍,相信大家已经对 Pexpect 的用法已经有了比较全面的了解,知道 Pexpect 是个纯 Python 语言实现的模块,使用其可以轻松方便的实现与 ssh、ftp、passwd 和 telnet 等程序的自动交互,但是读者的理解还可能只是停留在理论基础上,本文将从实际例子入手具体转载 2015-09-01 15:44:31 · 602 阅读 · 0 评论 -
ssh批量登录并执行命令(python实现)
ssh批量登录并执行命令(python实现) 人生苦短,我用python! 局域网内有一百多台电脑,全部都是linux操作系统,所有电脑配置相同,系统完全相同(包括用户名和密码),ip地址是自动分配的。现在有个任务是在这些电脑上执行某些命令,者说进行某些操作,比如安装某些软件,拷贝某些文件,批量关机等。如果一台一台得手工去操作,费时又费力,如果要进行多个操作就更麻转载 2015-09-01 15:27:35 · 774 阅读 · 0 评论 -
探索 Pexpect,第 1 部分:剖析 Pexpect
概述Pexpect 是 Don Libes 的 Expect 语言的一个 Python 实现,是一个用来启动子程序,并使用正则表达式对程序输出做出特定响应,以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广,可以用来实现与 ssh、ftp 、telnet 等程序的自动交互;可以用来自动复制软件安装包并在不同机器自动安装;还可以用来实现软件测试中与命令行交互的自动化。转载 2015-09-01 15:43:52 · 406 阅读 · 0 评论 -
Python中生成唯一ID的库——UUID
Python中生成唯一ID的库——UUID铁米 本来是要给实例添加唯一标识,想了一个伪随机的方法: # 我想的伪随机办法 # 用时间戳和随机数来生成唯一数字id import scipy as sp import time转载 2016-04-03 16:53:36 · 2385 阅读 · 0 评论 -
性能测试平台效率优化的一次经验(python版)
性能测试平台效率优化的一次经验(python版)在做性能测试平台的优化过程中,由于启动任务相对其他测试任务比较频繁,而目前30次两个包的交叉对比(30次)测试需要耗时30分钟整,因此打算优先对测试流程做一次优化,将测试时间消耗降低到20分钟。由于一开始估计乐观,认为启动时间,一台设备理论上启动顶多1s,1*2*30也就60s,加上其他开销,5分钟都够了,能减少到20分钟转载 2017-03-23 22:42:43 · 754 阅读 · 0 评论 -
Celery 简介
Celery 简介何为任务队列? 我需要什么? 上手 Celery 是… 特性 框架集成 快速跳转 安装何为任务队列?任务队列是一种在线程或机器间分发任务的机制。消息队列的输入是工作的一个单元,称为任务,独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。Celery 用消息通信,通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向...转载 2019-02-12 09:30:45 · 1314 阅读 · 1 评论 -
Python2和Python3
Python2和Python3的区别,以及为什么选Python3的原因2018年06月29日 12:28:13刺客五六柒阅读数 46169文章标签:Python编程更多分类专栏:编程之美:Python版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/qq_3952...转载 2019-09-18 13:24:09 · 294 阅读 · 0 评论 -
Python读写Oracle的BLOB类型
Python读写Oracle的BLOB类型 2011-06-29 22:49:25| 分类: 牧码经 | 标签:python oracle blob |举报|字号 订阅这应该算是我遇到的难题之一了。表结构是这样的:CREATE TABLE aurora(date_forecast VARCHAR2(10),转载 2015-01-06 22:09:59 · 1219 阅读 · 0 评论 -
python多线程编程(5): 条件变量同步
互斥锁是最简单的线程同步机制,Python提供的Condition对象提供了对复杂线程同步问题的支持。Condition被称为条件变量,除了提供与Lock类似的acquire和release方法外,还提供了wait和notify方法。线程首先acquire一个条件变量,然后判断一些条件。如果条件不满足则wait;如果条件满足,进行一些处理改变条件后,通过notify方法通知其他线程,其他处于wai转载 2014-10-20 20:22:39 · 599 阅读 · 0 评论 -
Crawl you website including login form with Phantomjs
Crawl you website including login form with PhantomjsSep 27th, 2013With PhantomJS, we start a headless WebKit and pilot it with our own scripts. Said differently, we write a script in Java转载 2014-07-27 16:07:58 · 1281 阅读 · 0 评论 -
未经过验证的在scrapy中获取cookies
Access session cookie in scrapy spidersdef parse(self, response): return [FormRequest.from_response(response, formname='login_form', formdata={'email':转载 2014-07-27 10:24:07 · 1153 阅读 · 0 评论 -
Using add_cookie in Selenium 2
Using add_cookie in Selenium 2The documentation in the Python bindings for using the add_cookie() function Selenium 2 are unclear. The add_cookie() appears to take in a simple key/value pair转载 2014-08-07 13:11:41 · 1431 阅读 · 0 评论 -
Python连接MySQL数据库通信实例以及中文乱码的解决办法
Python连接MySQL数据库通信实例以及中文乱码的解决办法 (2011-11-14 08:40:16)转载▼标签: python mysql分类: 技术备忘我的开发环境:Windows 7 + Navicat for MySQL + Python 2.7想要Python和MySQL进行通信,转载 2014-08-11 11:17:02 · 938 阅读 · 0 评论 -
Python死锁问题查找
Python死锁问题查找分类: Python2014-02-05 20:28 328人阅读 评论(0) 收藏 举报pythoncython死锁目录(?)[+]1 用Python写的程序,由于其GIL的存在,死锁的情况变得有点复杂。2 基本上可以分成两种情况:一种是在调用Thread.join,Queue.put,Queue.g转载 2014-08-26 17:13:58 · 948 阅读 · 0 评论