python
FanWinter
这个作者很懒,什么都没留下…
展开
-
map&reduce&filter
reduce通常执行连续操作,如累加、累乘...>>>reduce(lambda x,y:x+y,range(1,5))>>>10以上代码实现从1累加到4,结果为10。原创 2017-07-16 22:48:06 · 271 阅读 · 0 评论 -
python web.py详解
你知道Python同时你希望制作一个网站。 那么web.py正好提供了一种简单的方法。 详细,可以查看官方文档:http://webpy.org/如果你已经有了一个web.py项目,请看看升级 页面的相关信息。准备开始。URL 处理任何网站最重要的部分就是它的URL结构。你的URL并不仅仅只是访问者所能看到并且能发给朋友的。它还规定了你网站运行的心智模型。在一些类似del.icio.us的流行网站原创 2017-08-15 09:43:59 · 3727 阅读 · 1 评论 -
python中time模块与datatime模块用法
python中内置的各项时间日期函数几乎都来自于time与datatime模块,以下为这两个模块的详细用法:time:在 Python 文档里,time是归类在Generic Operating System Services中,换句话说, 它提供的功能是更加接近于操作系统层面的。通读文档可知,time 模块是围绕着 Unix Timestamp 进行的。 该模块主要包括一个类 struct_ti原创 2017-08-15 09:27:28 · 2996 阅读 · 0 评论 -
python使用cookie模拟登陆
最近在学习爬虫过程中,要用到模拟登陆,本文对模拟登陆做一个简单的介绍,一方面是为以后的查找,也为初学者模拟登陆一个网站提供些参考。原创 2017-08-01 10:01:38 · 4200 阅读 · 0 评论 -
python中去掉字符串中的空格
我们想去除字符串中不必要的空格时可以使用如下方法原创 2017-07-19 10:56:43 · 12012 阅读 · 0 评论 -
python操作MySQL数据库(增删改查)
在之前进行python操作MySQL数据库时,写了一些可通用的模板,现将代码总结如下:为降低耦合性,我将连接数据库的内容单独建立了一个文件,取名为:config.py代码如下:#config.py#!/user/local/bin/python2.7# encoding:utf-8#以字典形式保存数据库连接信息conn = dict(host='127.0.0.1',port = 3306,原创 2017-08-18 09:43:09 · 1764 阅读 · 0 评论 -
断言(assert)表达式的使用
如何在一些场景下使用断言表达式python的assert是用来检查一个条件,如果它为真,就不做任何事,如果为假,则抛出AssertError并且包含错误信息:以下为测试代码:第一句为真不作任何事,第二句代码为假,抛出AssertError并且包含错误信息>>> assert 'abc' in 'abcdef'>>>>>> assert 'abc' in 'defghi'Traceback (m原创 2017-08-21 13:53:45 · 1975 阅读 · 0 评论 -
python文件创建,读取,追加,删除操作
一、用Python创建一个新文件,内容是从0到9的整数, 每个数字占一行:#python>>>f=open('f.txt','w') # r只读,w可写,a追加>>>for i in range(0,10):f.write(str(i)+'\n'). . .>>> f.close()二、文件内容追加,从0到9的10个随机整数:#python>>>import random>>>转载 2017-08-15 16:30:45 · 1101 阅读 · 0 评论 -
使用python识别图像中的文字
以下内容主要介绍一下使用python语言及PIL,pytesser模块来识别图片中的文字,这样方便我们在模拟网站登录时识别验证码(可能也需要用到selenuim模块)。现在正式开始介绍:PIL安装PIL官方下载:http://www.pythonware.com/products/pil/至于详细安装步骤,我不再赘述,这篇文章讲的很详细: http://blog.csdn.net/hqzxsc20原创 2017-08-25 15:44:30 · 18415 阅读 · 1 评论 -
python多进程、多线程详解
内容提要paramiko模块进程、与线程区别python GIL全局解释器锁多线程语法join线程锁之Lock\Rlock\信号量将线程变为守护进程Event事件 queue队列生产者消费者模型多进程语法join进程Queue进程Pipe进程Manager进程同步进程池 1.paramiko模块 安装:若已安装pip则:pip install pa转载 2017-08-23 15:22:46 · 1106 阅读 · 0 评论 -
python过滤html文档中的Tag标签
最近在练习爬虫时需提取HTML文档正文内容,现总结如下方法。方法一: 模块 lxml.html.clean 提供 一个Cleaner 类来清理 HTML 页。它支持删除嵌入或脚本内容、 特殊标记、 CSS 样式注释或者更多。 注意,page_structure,safe_attrs_only为False时保证页面的完整性,否则,这个Cleaner会把你的html结构与标签里的属性都给清理了。原创 2017-08-23 14:54:07 · 14671 阅读 · 1 评论 -
python函数装饰器的使用
使用装饰器的一个好处就是可以对函数进行批量操作:我们先写两个函数:def func1(): print 'This is func1'def func2(): print 'This is func2' func1()func2()'''out:This is func1This is func2'''装饰器的基本使用:使用装饰器对这两个函数进行修改def out原创 2017-08-23 17:22:06 · 473 阅读 · 0 评论 -
Django详细教程(图文)
版权所有,转载需注明来源! 本文面向:有python基础,刚接触web框架的初学者。 环境:windows7 python3.5.1 pycharm专业版 Django 1.10版 pip3一、Django简介 百度百科:开放源代码的Web应用框架,由Python语言编写…… 重点:一个大而全的框架,啥都替你考虑好了。1. web框架介绍 具体介绍Django转载 2017-08-24 12:58:13 · 3232 阅读 · 2 评论 -
使用python对列表(list)去重
在处理列表去重时,整理方法如下。希望对这方面知识又困惑的人能有所帮助。常见方法:lis = [1,2,4,3,5,3,8,7,6,4,5]news_lis = []for ls in lis: if ls not in news_lis: news_ids.append(ls)print news_idsset()集合方法:#使用set集合对列表去重,但set不会将列表原创 2017-08-17 10:24:24 · 507 阅读 · 0 评论 -
python中range和xrange的区别
在python中range返回的是一个包含所有元素的列表,xrange返回的是一个生成器,生成器是一个可迭代对象,在对生成器进行迭代时,元素是逐个被创建的。一般来看,在对大序列进行迭代的时候,因为xrange的特性,所以它会比较节约内存,比较高效。首先我们来看看range的特性:>>>range(9)>>>[0, 1, 2, 3, 4, 5, 6, 7, 8]>>>type(ra原创 2017-07-18 17:26:20 · 501 阅读 · 0 评论 -
requests模块的安装与应用
requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码。我也看了下requests的文档,确实很简单,适合我这种懒人。下面就是一些简单指南。转载 2017-08-01 10:37:40 · 760 阅读 · 0 评论 -
python创建目录(文件夹)
python对文件操作主要会用到os模块: 主要涉及到三个函数1、os.path.exists(path) 判断一个目录是否存在2、os.makedirs(path) 多层创建目录3、os.mkdir(path) 创建目录DEMO以下是代码: # 引入模块#!/user/local/bin/python2.7# -*- coding:utf-8 -*-import osdef mkdir(原创 2017-08-16 09:30:21 · 47453 阅读 · 0 评论 -
scrapy操作MySQL数据库
使用scrapy爬虫框架将数据保存MySQL数据库和文件中settings.py转载 2017-08-16 12:51:38 · 2330 阅读 · 0 评论 -
python time时间格式化
将当前时间格式化:>>> import time>>> a = time.time()>>> time.ctime(a)'Mon Aug 14 17:23:37 2017'>>>原创 2017-08-14 17:30:38 · 4528 阅读 · 0 评论 -
python测试代码报错:Ran 0 test in 0.00s
最近在学习selenium时,使用unittest框架进行代码测试时,发现报以下错误:Ran 0 test in 0.00sOK原因:unittest提供了全局的main()方法,使得一个单元测试模块变成可以直接运行的测试脚本,main()方法使用TestLoader类来搜索所有包含在模块中以“test”命名开头的测试方法,并自动执行它们 。故而,将解决办法记录如下(以下是我测试代码,已正常运行原创 2017-08-09 10:53:26 · 4730 阅读 · 0 评论 -
selenium模拟登陆163邮箱
本人在学习selenium时,用其成功登录163邮箱。故而将过程记录如下,供以后回顾:#!/user/local/bin/python2.7# -*- coding:utf-8 -*-#模拟登陆163邮箱from selenium.webdriver.common.keys import Keysfrom selenium import webdriveruserName = '用户账号'原创 2017-08-09 16:55:20 · 2053 阅读 · 0 评论 -
python报错:local variable 'xxxx' referenced before assignment
这个问题很囧,在外面定义了一个变量 xxx ,然后在Python的一个函数里面引用这个变量,并改变它的值,结果报错local variable ‘xxx’ referenced before assignment,代码如下:[python] view plain copyxxx = 23 def PrintFileName(strFileName): if xxx == 23:转载 2017-08-17 13:49:06 · 16855 阅读 · 0 评论 -
常用浏览器User-Agent
1,为什么需要修改UserAgent在写python网络爬虫程序的时候,经常需要修改UserAgent,有很多原因,罗列几个如下:不同Agent下看到的内容不一样,比如,京东网站上的手机版网页和pc版网页上的商品优惠不一样为避免被屏蔽,爬取不同的网站经常要定义和修改useragent值。 ……修改agent值这个操作本身比较简单,UserAgent值是一串字符串,替换上即可,主要是用对Use转载 2017-07-27 10:07:40 · 5529 阅读 · 0 评论 -
python yield详解
如何生成斐波那契數列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常简单的问题,许多初学者都可以轻易写出如下函数:清单 1. 简单输出斐波那契數列前 N 个数 def fab(max): n, a, b = 0, 0, 1 while n < max:转载 2017-08-18 15:36:34 · 367 阅读 · 0 评论 -
python函数编程SyntaxError: non-default argument follows default argument
SyntaxError: non-default argument follows default argument解决办法:如果一个函数的参数中含有默认参数,则这个默认参数后的所有参数都必须是默认参数 。def run(name,age=10,sex): print name ,age ,sex SyntaxError: non-default argument follo原创 2017-08-08 16:00:44 · 2854 阅读 · 0 评论 -
python中decode和encode的区别和联系
编码问题:decode和encode的区别和联系 python中,我们使用decode()和encode()来进行解码和编码。使用unicode类型作为编码的基础类型。即str —-(decode)—–> unicode —–(encode)—->str字符串在python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(原创 2017-08-21 13:53:12 · 1748 阅读 · 0 评论 -
python使用wordcloud创建词云
最近对词云比较感兴趣,所以简单学习了一下,希望这篇文章能对同样想要学习词云的朋友有所帮助。本文用的是python实现词云的创建,当然也可以用词云生成器来生成。模块安装这里需要用到的模块有:wordcloud ,jieba,PIL,numpy,matplotlib我电脑已安装pip工具:pip install ‘xxx’工程介绍我这里的测试文件是:text.txt 里边存放的内容为百度百科对于苹果公司原创 2017-08-21 17:06:17 · 2418 阅读 · 0 评论