Python
文章平均质量分 55
周二也被占用
学无止境
展开
-
docker-py在suse下的安装
第一步:下载wget https://github.com/docker/docker-py/archive/master.zip第二步:解压unzip master第三步:下载依赖setuptoolswget https://bootstrap.pypa.io/ez_setup.py -O - | python第四步:安装cd docker-py-master/p原创 2016-01-18 09:23:54 · 589 阅读 · 0 评论 -
python装饰器详解【好文,深刻理解装饰器】
原文地址:https://blog.csdn.net/xiangxianghehe/article/details/77170585转载 2018-09-18 09:22:17 · 123 阅读 · 0 评论 -
使用谷歌webp压缩图片。原图:113kb,压缩后13kb
想做一个图片站,之前爬虫抓了某网站一个类别的数据,就有33GB大小,真要上线运行,投入成本太高,于是开始图片压缩之旅。1、到官方下载可执行程序:http://developers.google.com/speed/webp2、直接调用exe程序执行压缩,代码非常简单# -*- coding: utf-8 -*-from glob import globimport osfro...原创 2018-07-14 18:19:00 · 4234 阅读 · 0 评论 -
Python yield
用scrapy写爬虫时看到yield字段,归纳下用法:用于循环迭代,执行循环函数时碰到yield会停下,直接返回yield的值,下次循环时从上一次yield的地方开始好处是节省内存了,执行大的循环时,无需把所有字段都放入内存中调用的方法有next(),send()使用yield同样可以用于读取大文本# 参考链接,廖雪峰写的很清晰了https://www.liaoxuefeng...原创 2018-05-20 15:08:32 · 180 阅读 · 0 评论 -
'ascii' codec can't decode byte 0xef in position 0:ordinal not in range(128)错误解决与原理分析
写python代码时出现’ascii’ codec can’t decode byte 0xef in position 0:ordinal not in range(128)的错误。在解决错误之前,首先要了解unicode和utf-8的区别。 unicode指的是万国码,是一种“字码表”。而utf-8是这种字码表储存的编码方法。unicode不一定要由utf-8这种方式编成byt转载 2017-12-01 10:05:08 · 53863 阅读 · 1 评论 -
Python使用MySQL数据库(新)【很详细】【fetchall和fetchmany有啥区别呢?】
一,安装mysql 如果是windows 用户,mysql 的安装非常简单,直接下载安装文件,双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单,除了下载安装包进行安装外,一般的linux 仓库中都会有mysql ,我们只需要通过一个命令就可以下载安装:Ubuntu\deepin>>sudo apt-get install mysql-se转载 2017-08-22 07:28:31 · 18019 阅读 · 1 评论 -
python mysql 模糊查询
python如何进行mysql 的模糊查询众所周知,python有转译机制 %s和%d都会被转译成字符串或数字,而sql的模糊查询也需要用到%,都进行模糊查询时,刚好查询条件还是个变量那就很尴尬了。下面是解决方法:其实很简单,把需要进行模糊查询的字符串从sql中单独拎出来进行拼接就好args = '%'+subtitle+'%'sqlQueryTitle="select count(*) from原创 2017-08-21 22:32:39 · 6903 阅读 · 0 评论 -
多线程爬虫抓取Infinity所有壁纸到本地
# -*- coding: utf-8 -*- __author__ = 'Peng'from bs4 import BeautifulSoup,Commentimport urllib2from urllib2 import urlopen,HTTPErrorimport MySQLdbimport jsonimport datetimeimport loggingimport原创 2017-07-09 16:11:23 · 2307 阅读 · 0 评论 -
python爬虫,抓取新浪科技的文章(beautifulsoup+mysql)
这几天的辛苦没有白费,总算完成了对新浪科技的文章抓取,除非没有新的内容了,否则会一直爬取新浪科技的文章。想了解更多可以关注我的github:https://github.com/libp/WebSpider如果想要数据库表结构可以留下邮箱~# -*- coding: utf-8 -*-__author__ = 'Peng'from bs4 import BeautifulSou原创 2017-06-10 18:00:19 · 1147 阅读 · 0 评论 -
Python的namedtuple使用详解
Python的namedtuple使用详解namedtuple是继承自tuple的子类。namedtuple创建一个和tuple类似的对象,而且对象拥有可访问的属性。下面看个列子from collections import namedtuple# 定义一个namedtuple类型User,并包含name,sex和age属性。User = namedtuple('User转载 2017-06-05 14:23:54 · 405 阅读 · 0 评论 -
urlopen error [errno 10060]的解决思路
当用多线程爬取某个网站的数据的时候,爬取一段时间后,总出现urlopen error [errno 10060]的错误,结果线程无端的被挂掉,一开始的解决思路是每次连接的时候换用不同的useragent,结果还是出现这种问题,在网上查了下,看到网上别人的经验,原来是 如果用多个线程爬去某个网站的数据,每次连接完的时候,需要sleep(1)一会,不然该网站服务端的防火墙会ban掉你的connect。转载 2016-08-26 21:29:35 · 29793 阅读 · 12 评论 -
改进版臭事百科爬虫
原文地址:http://blog.csdn.net/pleasecallmewhy/article/details/8932310因为臭事百科做了改版,之前的程序不能使用了,下面做了简单修改之后能用了。最烦的还是ascii码问题,希望懂得给解释解释,为什么不转码输出的是中文还有下面这个语句是什么意思有什么作用?json.dumps(myItems, encoding="UTF-8", en原创 2016-08-20 22:59:57 · 3164 阅读 · 5 评论 -
转 python中包含UTF-8编码中文的列表或字典的输出
在python 下面一个包含中文字符串的列表(list)或字典,直接使用print会出现以下的结果:dict = {"asdf": "我们的python学习"}print dict{'asdf': '\xe6\x88\x91\xe4\xbb\xac\xe7\x9a\x84python\xe5\xad\xa6\xe4\xb9\xa0'}在输出处理好的数据结构的时候很不方便,需要使用以转载 2016-08-20 23:04:45 · 11330 阅读 · 0 评论 -
最简单的python爬虫
姑且称之为爬虫吧,可以从aladd的网站上把400篇文章抓下来,如果页面不存在就报异常,但不会终止抓取。下一步计划是提取抓取的内容获得有效的信息进行处理,并放入数据库中# -*- coding: utf-8 -*-__author__ = 'Peng'import string, urllib2from urllib2 import Request, urlopen, URLErro原创 2016-08-20 00:37:20 · 443 阅读 · 0 评论 -
命令性解释性编译性语言
命令性语言:shell脚本解释性语言:python编译性语言:java,c,c++,php等原创 2016-02-18 10:41:16 · 415 阅读 · 0 评论 -
python中if __name__ == '__main__': 的解析
当你打开一个.py文件时,经常会在代码的最下面看到if __name__ == '__main__':,现在就来介 绍一下它的作用. 模块是对象,并且所有的模块都有一个内置属性 __name__。一个模块的 __name__ 的值取决于您如何应用模块。如果 import 一个模块,那么模块__name__ 的值通常为模块文件名,不带路径或者文件扩展名。但是您也可以像一个标准的程序转载 2016-01-15 15:04:46 · 287 阅读 · 0 评论 -
Python脚本运行出现语法错误:IndentationError: unindent does not match any outer indentation level
一个python脚本,本来都运行好好的,然后写了几行代码,而且也都确保每行都对齐了,但是运行的时候,却出现语法错误: IndentationError: unindent does not match any outer indentation level【解决过程】 1.对于此错误,最常见的原因是,的确没有对齐。但是我根据错误提示的行数,去代码中看了下,没啥问题啊。都是用TA转载 2016-01-18 18:04:32 · 433 阅读 · 0 评论 -
What is the 'cls' variable used for in Python classes?
https://stackoverflow.com/questions/4613000/what-is-the-cls-variable-used-for-in-python-classespython基础知识,写一篇博客https://www.baidu.com/s?ie=UTF-8&wd=dequeue原创 2018-11-22 10:08:13 · 205 阅读 · 0 评论