Python
glfxml
这个作者很懒,什么都没留下…
展开
-
Windows 安装与使用splash
什么是SplashSplash是一个JavaScript渲染服务,带有HTTP API 的轻量级Web浏览器。能够并行地处理多个页面请求。Splash与Selenium对比Selenium在单台机器上运行Spider,如果是分布式Spider就要每台机器上都要安装Selenium,不支持异步,效率低Splash支持异步,分布式Spider可以使用一台Splash就可以了,效率高。安装Splash#安装docker##从这个页面下载 https://hub.docker.com/editions原创 2020-09-23 16:47:58 · 2852 阅读 · 0 评论 -
Scrapyd ScrapydWeb 简单高效地部署和监控分布式爬虫项目
@安装和配置#先确保所有主机都已经安装和启动Scrapyd,需要将Scrapyd配置文件中的bind_address修改为bind_address=0.0.0.0,然后重启Scrapyd service@安装scrapydweb#pip install scrapyweb@启动scrapydweb#/usr/local/python3/bin/scrapydweb@配置scrapydweb#scrapyweb启动之后,会在本地目录生成一个配置文件#启用 HTTP 基本认证##ENABLE原创 2020-08-06 16:36:23 · 854 阅读 · 0 评论 -
python 3 读取redis带有‘b’的问题
这里我们存进去的是字符串类型的数据,取出来却是字节类型的,这是由于python3的与redis交互的驱动的问题,Python2取出来的就是字符串类型的。为了得到字符串类型的数据,你可以每次取出来decode一下,但是太繁琐了,可以这样设置: sr = StrictRedis(host='localhost', port=6379, db=0,decode_responses=Tru...原创 2019-11-27 17:44:55 · 473 阅读 · 0 评论 -
Python jpg转成透明png
def transPNG(srcImageName, dstImageName): img = Image.open(srcImageName) img = img.convert("RGBA") datas = img.getdata() newData = list() for item in datas: if item[0] > 225...原创 2019-11-19 11:24:17 · 2011 阅读 · 0 评论 -
CentOS7 升级 python3 过程及注意
@检查当前的版本#python -V@安装python3.7#yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel...原创 2019-11-19 11:23:15 · 173 阅读 · 0 评论 -
Python学习笔记——多线程编程(三)
@信号量 #是一个计数器,当资源消耗时递减,当资源释放时递增。@两种信号量类 #Semaphore #BoundedSemaphore, 一个有界信号量会确保它当前的值不超过它的初始值。如果超过,则引发ValueError。@事例: #!/usr/bin/env pythonfrom atexit import regi...原创 2019-11-15 15:09:13 · 121 阅读 · 0 评论 -
Python学习笔记——多线程编程(二)
@线程同步 #多线程中总会有一些特定的函数或代码块不希望(或不应该)被多个线程同时执行。 #当线程间共享全局变量,多个线程对该变量执行不同的操作时,该变量最终的结果可能是不确定的 #临界区:指的是一个访问共用资源的程序片段。@锁 #有两种状态:锁定、未锁定。 #两个函数:获得锁(Lock.acquire)、释放锁(Lock.release...原创 2019-11-15 15:08:06 · 109 阅读 · 0 评论 -
Python学习笔记——多线程编程(一)
@进程 #一个执行中的程序@线程(轻量级进程) #同一个进程下执行的,并共享相同的上下文 #线程包括开始、执行顺序和结束 #线程是以并发方式执行,单核CPU系统中,实现是每个线程执行一小会儿。@GIL(全局解释器锁) #I/O密集型的Python程序要比计算密集型的代码能够更好的利用多线程。 #多线程环境中,Pytho...原创 2019-11-15 15:07:36 · 284 阅读 · 0 评论 -
Python学习笔记—— @函数装饰器及用法
@函数装饰器 #当程序使用“@函数”(比如函数A)装饰另一个函数(比如函数B)时,实际上完成如下两步 ##将被修饰的函数(函数B)作为参数传给@符号引用的函数(函数A) ##将函数B替换(装饰)成第1步的返回值@事例 def funA(fn):print('A')fn() # 执行传入的fn参...原创 2019-11-15 15:06:58 · 141 阅读 · 0 评论 -
Python学习笔记——测试
@测试分类 #单元测试 #全覆盖测试 @单元测试(测试方法) #引入unittest #例: name_function.py def get_formatted_name(first, middle,last): full_name = first + " " + middle...原创 2019-11-15 15:06:14 · 116 阅读 · 0 评论 -
Python学习笔记——异常
@ZeroDivisionError异常 #例: try: print(5/0) except ZeroDivisionError: print("You can't divide by zero !") @FileNotFoundEr...原创 2019-10-23 14:30:43 · 92 阅读 · 0 评论 -
Python学习笔记——文件操作
@读取整个文件 #例: with open('pi_digits.txt') as fp: contents = fp.read() print(contents)@逐行读取 #例: ...原创 2019-10-23 14:19:33 · 136 阅读 · 0 评论 -
Python学习笔记——类
@创建类 #成员变量和方法都是public的,没有类似public、private等访问修饰符控制访问权限。 #_xxx 单下划线修饰的成员变量,表示只有类实例或者子类实例可以访问,类似于protect#__xxx 双下划线修饰的成员变量,表示只有类对象自己能访问,类似于private #__init__(),代表类的构造方法 #class Cl...原创 2019-10-23 11:39:42 · 75 阅读 · 0 评论 -
Python 学习笔记——元组
@元组 #使用圆括号 #元祖的元素不能被修改@定义元组 #dimensions = (200, 500) #print(dimensions[0]) #遍历元组 ##fordimension indimensions: print(dimension)...原创 2019-10-22 17:58:12 · 100 阅读 · 0 评论 -
Python 学习笔记——字典
@字典 #使用{} #键-值对 #字典是一种动态结构@字典的操作 #alien_0 = {'color' : 'green', 'points' : 5} #访问字典 ##print(alien_0['color']) #添加键-值对 ##alien_0['x_position'] = ...原创 2019-10-22 17:57:37 · 182 阅读 · 0 评论 -
Python学习笔记——列表
@什么是列表 #由一系列按特定顺序的元素组成。 #索引是从0开始@列表的操作 #bicycles = ["trek", "cannondale", "redline", "specialized"] #访问 ##print(bicycles[1]) #修改 ##bicycles[0] = "yam...原创 2019-10-22 17:56:56 · 141 阅读 · 0 评论 -
python 学习笔记(一)
@变量 #不能以数字开头,包含字母、数字和下划线 #变量名不能包含空格 #不要有Python关键字@print() #python3.0之前的版本,可以这样写print "Hello,world" #python3.0print ("Hello,world")@字符串 #拼接字符串 ##使...原创 2019-10-22 17:55:42 · 134 阅读 · 0 评论 -
Python的虚拟环境Virtualenv
@什么是Virtualenv #virtualenv通过创建独立Python开发环境的工具, 来解决依赖、版本以及间接权限问题。 @安装Virtualenv #pip install virtualenv @使用Virtualenv #创建项目目录 #virtualenv env #virtualenv --system-site-...原创 2018-09-21 17:33:15 · 162 阅读 · 0 评论