Python
文章平均质量分 52
morven936
这个作者很懒,什么都没留下…
展开
-
基于Scrapyd的爬虫部署
系统为Ubuntu16.04TLS。1. Installtion 通过使用scrapy-client中的scrapy-deploy将scrapy project部署到scrapyd server。# 安装scrapydpip install scrapyd# 安装scrapy-client# for python2.xpip install git+https://github.co原创 2017-11-29 14:58:03 · 683 阅读 · 0 评论 -
Blaze(一):前言
前言Blaze生态系统为python用户对大数据提供了高效计算的高层接口。主要由Anaconda赞助。应用领域Blaze整合了包括Python的Pandas、NumPy及SQL、Mongo、Spark在内的多种技术,使用Blaze能够非常容易地与一个新技术进行交互。Blaze目前主要用于数据库和数组技术的分析查询。并且它在不断地整合和提供基于其它计算系统的应用接口。Blaze主要通过为数据...翻译 2018-12-04 18:54:31 · 3661 阅读 · 1 评论 -
Blaze(二):安装
安装conda方式conda install blaze# 更多最新的构建conda install -c blaze blazepip方式pip install blaze --upgradeorpip install git+https://github.com/blaze/blaze --upgrade源码方式git clone git@github.c...翻译 2018-12-04 18:55:49 · 1848 阅读 · 0 评论 -
Blaze(三):快速入门
快速入门该篇文章通过展示创建和操作Blaze Symbols快速入门。1. 与数据的交互通过嵌套的list/tuple创建简单的Blaze表达式。Blaze将推导出要使用的维度和数据类型。# coding: utf-8from blaze import *t = data([(1, 'Alice', 100), (2, 'Bob', -200), ...翻译 2018-12-04 19:22:33 · 1950 阅读 · 9 评论 -
使用Psycopg2高效更新数据(一)
Python: 3.7Psycopg: 2.7最近要对Postgresql数据库某表中的几百万条数据进行计算并更新某字段的值,在此期间使用过协程+aiopg,7分钟更新2000条数据,速度太慢;后来查看Psycopg2文档发现了一个高效的方法。**安装Psycopg **pip install psycopg2文档中关于高效执行的描述:Fast execution helper...原创 2018-11-30 16:08:13 · 7785 阅读 · 0 评论 -
Blaze(四):基本查询
使用之前x下载的iris数据集CSV文件.该段代码以下所有示例都会使用到# coding: utf-8from blaze import datafrom blaze.utils import exampleiris = data(example('iris.csv'))print(iris.peek())输出: sepal_length sepal_width ...翻译 2018-12-05 00:02:53 · 632 阅读 · 0 评论 -
使用Psycopg2高效更新数据(二)
python: 3.7pscopg2: 2.7参考文档Server side cursors当执行一个数据库查询时,Pscopg cursor通常将查询到的所有数据返回给客户端,如果返回的数据过大,则将占用客户端大量的内存。因此,psycopg提供了一种成为server side curosr机制,每次返回可控制数量的数据。Server side cursor是使用PostgreSQL...原创 2018-12-03 11:51:19 · 2719 阅读 · 0 评论 -
Blaze(五):数据的分割-应用-组合-分组
数据的分割-应用-组合-分组分组操作将一张表切分为多个块,并对每个块进行操作。以species分组,并对petal求平均值# coding: utf-8from blaze import data, byfrom blaze.utils import exampled = data('sqlite:///{}::iris'.format(example('iris.db')))p...翻译 2018-12-05 14:06:40 · 379 阅读 · 0 评论 -
Blaze(六):Pandas与Blaze比较
Pandas与Blaze比较导入和构造# coding: utf-8import numpy as npimport pandas as pdfrom blaze import data, bydf = pd.DataFrame({'name': ['Alice', 'Bob', 'Joe', 'Bob'], 'amount': [100, 2...翻译 2018-12-05 14:07:50 · 2063 阅读 · 0 评论 -
Blaze(七):URI strings
URI stringsBlaze使用strings指定数据源,使用时非常简单。1. 例子与一组CSV文件或一个SQL数据库交互# coding: utf-8from blaze import *from blaze.utils import examplet = data(example('accounts_*.csv'))print(t.peek())t1 = data(...翻译 2018-12-05 14:08:44 · 405 阅读 · 0 评论 -
Python之dict的setdefault用法
dict的setfault方法我们可能使用的比较少,但是一旦使用则可以减少键的查询次数,从而让程序更高效.使用setfault处理找不到的键 当使用d[k]查找不正确的键k时,则会抛出异常KeyError;我们可以使用d.get(k, default)来代替d[k](当找不到键k时返回一个默认的值);但是当我们要更新键对应的值时候,使用__getitem__或get都效率比较低,此时...原创 2018-09-15 00:32:09 · 4082 阅读 · 0 评论 -
Python之Pipenv使用
工欲善其事,必先利其器.1. 安装2. 使用2.1 创建虚拟环境2.2 activate与deactivate2.3 安装包3. 常用命令Pipenv: Python Development Workflow for Humans1. 安装pip install pipenv2. 使用2.1 创建虚拟环境添...原创 2018-09-04 14:23:23 · 9801 阅读 · 0 评论 -
Python之Pandas(一)
1、基本统计特征函数统计特征函数主要用于计算数据的均值、方差、标准差、分位数、相关系数和协方差等,这些特征能反映出数据的整体分布。 方法名 函数功能 sum() 计算数据样本的总和(按列计算) mean() 计算数据样本的算数平均数 var() 计算数据样本的方差 std() 计算数据样本的标准差 corr() 计算...原创 2018-06-26 11:57:26 · 1273 阅读 · 0 评论 -
Python之元类
python: 2.7元类的一个重要作用是用于类验证.。如果一个类必须遵循特定的接口,元类将是强制使其符合规范的有效方式。 例如:一个类需要设置两个属性中的一个,但是不需要两个属性都设置。使用元类的方式,代码如下:class FooOrBar(type): def __new__(cls, name, bases, attrs): if 'foo' i...原创 2018-07-20 14:59:46 · 246 阅读 · 0 评论 -
Python错误集(一)之SSLError
python: 2.7 requests: 2.19.1最近需要向第三方发送https请求爬取数据,需要绕过SSL,但是在此过程中发生了如下错误: requests.exceptions.SSLError: (“bad handshake: SysCallError(-1, ‘Unexpected EOF’)”,)原因:Requests已经移除对3DES str...原创 2018-07-26 23:31:07 · 19728 阅读 · 1 评论 -
Python之celery使用
RabbitMQ 是一个由 erlang 开发的基于 AMQP(Advanced Message Queue)协议的开源实现,是当前最流行的消息中间件之一.1、安装1.1、添加签名私钥wget -O - 'https://dl.bintray.com/rabbitmq/Keys/rabbitmq-release-signing-key.asc' | sudo apt-key...原创 2018-08-10 19:23:07 · 854 阅读 · 0 评论 -
Python错误集(二)之MongoClient opened before fork警告
今天在使用Python连接MongoDB的过程中日志出现了如下的warning: UserWarning: MongoClient opened before fork. Create MongoClient only after forking. See PyMongo’s documentation for details: http://api.mongodb.org/python/...原创 2018-08-08 15:09:33 · 6863 阅读 · 4 评论 -
Python之UTC和Local转换
好记性不如烂笔头.from dateutil import tzfrom dateutil.tz import tzlocalfrom datetime import datetime# get local time zone nametz_name = datetime.now(tzlocal()).tzname() # UTC Zonefrom_zone = t...原创 2018-08-23 10:40:25 · 2556 阅读 · 0 评论 -
Python之else用法
else经常与if语句成对出现,有if ... else ...,if ... elif ... else ...等形式;本文会介绍一些不常见的else用法.1. if … else …if ... elif ... else ...形式与if ... else ...在用法是没有区别的.a = 1b = 2if a > b: print('%s >...原创 2018-08-27 18:02:37 · 13408 阅读 · 0 评论 -
Python之abc模块
abc:Abstract Base Classes 作用:在代码中定义和使用抽象基类进行API检查。1. 为什么使用abc? Abstract base classes由一组接口组成,检查比hasattr()更严格。通过定义一个抽象基类,可以为一组子类定义一个通用的API。这对于第三方为应用提供插件等非常有用,另外当您在一个大型的团队中工作或在一个大型的代码库中,...翻译 2018-08-23 16:40:48 · 23457 阅读 · 1 评论 -
Python2字符串编解码问题
Python2字符串编解码问题在python2中有两种类型的字符串:str和unicode。二者的转换如下: unicode字符串通过encode函数转换为str字符串,称为编码; str字符串通过decode函数转化为unicode字符串,称为解码.下面以print打印为例进行说明:当字符串为str类型时,操作系统直接将其交给终端进行显示;当字符串为unicode类型时,操作系...原创 2019-06-13 15:39:08 · 1550 阅读 · 0 评论