2019年01月_PerpetualLearner

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Python量化交易||正则表达式知道这些就够用了（一）

正则表达式正则表达式主要用于处理文本格式。Python本身有些内置函数可以处理str，但是正则表达式更高效，简单理解为输入法中的五笔，难学，但是学会了打字就快多了。检测字符串中是否包含某个字段# STR.INDEX('STR_PART')a = 'c++|time|python'print(type(a.index('python')))print(type(a.in...

2019-01-31 23:45:37 758

原创 pct_change()计算股市涨跌幅||增长率

DataFrame.pct_change(periods=1, fill_method='pad', limit=None, freq=None, **kwargs)# 返回值Series or DataFrame，The same type as the calling object.para意义periodsint，default=1计算percent_chang...

2019-01-24 23:07:54 8018

原创 Pandas中df.resample()函数详解||量化交易K线转换、数据聚合、重采样

pandas.DataFrame.resample 官方文档DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention='start', kind=None, loffset=None, limit=None, base=0, on=None, level=N...

2019-01-24 00:48:45 15552

原创 resample()错误TypeError: Only valid with DatetimeIndex, Timedelta，but got an instance of 'Index'【已解决】

Pandas.df.resample()错误TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex, but got an instance of ‘Index’【已解决】问题背景运行df.resample()更改K线时间间隔，将5minK线转变为15minK线的过程中，出现如题错误。peri...

2019-01-24 00:33:50 18895 6

原创 MySQL、sqlalchemy、pymysql、mysqldb、DBAPI之间关系梳理（终于明白了）

问题背景用Python处理MySQL数据库相关问题时，需要用到相关库，主要有pymysql、sqlalchemy等，各种术语比较多，需要做一下系统梳理。问题解释Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，- GadFly - mSQL - MySQL -...

2019-01-22 23:22:52 4082

原创 pd.to_sql()知道这些就够用了

to_sql参见pandas.to_sql函数，主要有以下几个参数：name: 输出的表名con: 与read_sql中相同，数据库链接if_exits：三个模式：fail，若表存在，则不输出；replace：若表存在，覆盖原来表里的数据；append：若表存在，将数据写到原表的后面。默认为failindex：是否将df的index单独写到一列中index_label:指定列作为d...

2019-01-22 21:45:16 30619 9

原创 pd.read_sql()知道这些就够用了

pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)各参数意义sql:SQL命令字符串con：连接sql数据库的engine，一般可以用SQLalchemy或者pymysql之类的包建立inde...

2019-01-22 21:38:31 68955 4

原创 pymysql知道这些就够了

pymysql是Python3中链接MySQL的库，在Python2中使用的是mysqldb这个库。在Python3中可以通过如下方式导入mysqldb。pymysql与mysqldb的用法完全一样，直接import pymysql使用中其自身代码会涉及到mysqldb。所以用下列语句导入。import pymysqlpymysql.install_as_MySQLdb()...

2019-01-22 21:17:59 516

原创 sqlalchemy知道这些就够用了

SQLAlchemy是著名的ORM(Object-Relational Mapping)框架。把关系数据库的表结构映射到对象上。数据库表是一个二维表，用list表示多行，list的每个元素是tuple，为了更好的表现结果，构建一个class，每个tuple就是class的实例，那就比较容易的看出表的结构了。sqlalchemy主要用于构建数据库链接，用于pd.read_sql()或者是pd.t...

2019-01-22 21:09:21 523

原创 Python中的'^[0-9]{1,20}$'是什么意思【已解决】

在一些error中会出现类似的代码，是什么意思呢？这就是传说中的正则表达式。匹配字符串的开头以数字0-9之间的数字开头，长度在1-20之间,并且字符串只能是数字,并且以数字0-9之间的数字结尾...2019-01-22 18:03:14写于邹平猫咖...

2019-01-22 18:04:21 10071

原创 "code":-1100,"msg":"Illegal characters found in parameter '^[0-9]{1,20}$'【已解决】

InvalidOrder: binance {“code”:-1100,“msg”:“Illegal characters found in parameter ‘startTime’; legal range is ‘1{1,20}$’.”}【已解决】问题背景通过ccxt.binance.fetch_ohlcv(symbol, since=millisec)获取symbol的K线...

2019-01-22 17:52:07 1959

原创 Python中json对象及json.losd()详解

JSON(JavaScript Object Notation)一种轻量级的数据交换格式，易于阅读与编写。是数据交换格式，但不是数据类型，其对应在Python中的数据类型是list。json在python中是一种对象。import json模块导入json.dumps()用于将python对象编码成json字符串。（返回值的数据类型是str）json.dumps(obj, ...

2019-01-21 23:35:25 497

原创 Python中bytes类型详解及与str的互相转换

问题背景数字货币交易，从交易所获取的数据是bytes类型。这个并不常见。常见的Python标准数据类型有六种：Number（数字）—不可变数据intfloatboolcomplexString（字符串）—不可变数据‘str’“str”\转义特殊字符List（列表）—可变数据[a, b, c]Tuple（元组）—不可变数据(1, b)...

2019-01-21 22:23:26 5173

原创 ValueError: could not convert string to float: 'LTC-USDT'（已解决）

问题背景将dict{‘key1’:‘10’,‘key2’:‘ltc-usdt’}转变成dataframe，并让value值从字符串转变为float型。df = pd.DataFrame(dict,dtype='float')问题原因如果key对应的是数字的字符串，是可以转换成float的，但是如果对应的value是其他字符，就不能转换了问题解决部分key:va...

2019-01-17 22:34:10 5256 2

原创 Python中strip()函数用法详解

strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。移除首尾存在于strip(‘str_list’) str_list中任何的字符。如图所示，只要字符串中收尾存在着1253中的任何一个，都要移除。默认是移除空格参考菜鸟教程...2019-01-17 22:21:36写于聊城古城...

2019-01-17 22:22:19 13450 1

原创 ValueError: If using all scalar values, you must pass an index（已解决）

问题场景通过pd.DataFrame将dict转变为DataFrame时出现此错误。问题原因ValueError: If using all scalar values, you must pass an index这个错误的意思是，如果使用标量，那就需要导入一个index。问题解决df = pd.DataFrame(dict,index=[0])延展...

2019-01-17 20:40:02 2701

原创 Python中%s、%d、%f意义及用法详解

%s 格式化字符串print('str1%s' % 'str2')>> str1str2# 意思是%作为一个替代，将后面的‘str2’字符串加到str1后面案例示范具体用法string="hello" #%s打印时结果是hello print "string=%s" % string # output: string=hello #...

2019-01-17 13:42:45 109979 17

原创 urllib.error.HTTPError: HTTP Error 403: Forbidden（已解决）

urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或...

2019-01-17 13:21:42 45044 6

原创 pd.set_option()函数详解

pandas.set_option 官方文档pandas.set_option(pat, value) = <pandas.core.config.CallableDynamicDoc object>Parameters:pat: str Regexp which should match a single option. Note: partial matc...

2019-01-17 12:29:56 29194

原创 REST API与WebSocket API区别详解

API分类API按照功能一般可以分为账户、交易、行情三类。调用接口的方式有两种：REST、WebSocketREST，即Representational State Transfer（表现层状态转换）Roy Thomas Fielding于2000年提出的一种万维网软件架构风格，目的是便于不同软件/程序在网络中互相传递信息。REST是根基于超文本传输协议(HTTP)之上而确定...

2019-01-17 09:46:27 20909

转载原标题：独家！券商交易接口有望对量化私募放开！首批或在春节后，"A股活跃交易有力之举"，机构看好佣金收入

都是为了活跃证券市场，走牛的预期已经昭然若揭。见我另一篇文章《为什么要学量化，因为证券的黄金十年要来了》以下为新闻原稿：券商中国记者近日获悉，券商股票交易接口有望对量化私募重新开放，首批放开的时点或在春节后，这意味着因股市异常波动被叫停的量化私募系统（程序化交易）直连券商，将重新可行。据悉，部分券商已在积极推介相关业务，主动接洽量化私募。业内人士认为，此举将对A股流动性带来一定利好，而量化...

2019-01-15 21:26:42 800

原创《原则》读后感（一）

《原则》瑞·达利欧豆瓣链接这本书就不介绍了，这里是我自己的阅读笔记，分享给大家。备注：深色底纹下的文字为原味，之后跟随感悟、联想、思考、臆想。原文解读我一生中学到的最重要的东西是一种以原则为基础的生活方式，是它帮助我发现真相是什么，并据此如何行动。原则是根本性的真理，它构成了行动的基础，通过行动让你实现生命中的愿望。知其然，更知其所以然。某种层面上，“原则”可以暂且...

2019-01-15 13:46:32 3494

原创 Python中inplace、subset参数的意义

在Python使用中，很多函数都会有inplace这个参数。df.drop(['CLOSE'],axis=1,inplace=True)Inplace = True意思就是df.drop()函数执行完之后，直接赋值给df这个对象，如果Inplace = False则df.drop()只是执行了drop()这个函数，但是并没有将执行后的结果返回给df这个对象，也就是如果此时print(df)还...

2019-01-14 20:45:07 10467

原创财政专题研究之二：积极财政给美国带来了什么？（思维导图，可下载）

招商宏观研报，财政专题二在这里插入图片描述。下载链接见百度网盘。...2019-01-11 19:52:12写于G149

2019-01-11 19:54:12 414

原创 pd.read_csv()详解（理解20%满足80%应用场景）

官方文档pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None,...

2019-01-09 23:25:52 72670 8

原创财政专题研究之一：一文看懂财政核算（思维导图）

工作需要，想研究下财政体系，找到招商宏观的一系列研报，阅读之余做成了思维导图。放在这里不是很情绪，放在了我的CSDN的资源里，有兴趣的可以去下载看。这里列出了几张实例图片，待会更新下链接。...2019-01-09 19:21:59写于济南...

2019-01-09 19:22:44 2073

原创 pd.series.dt.date()

pandas.Series.dt.dateReturns numpy array of python datetime.date objects (namely, the date part of Timestamps without timezone information).返回python datatime.date对象的numpy数组（即没有时区信息的时间戳的日期部分）简单讲就是获取...

2019-01-08 23:06:37 3104 4

原创 hdf知道这些就够了

pandas.read_hdf()函数pandas.read_hdf(path_or_buf, key=None, mode='r', **kwargs)key : object, optionalThe group identifier in the store. Can be omitted if the HDF file contains a single pandas obje...

2019-01-08 21:24:01 2330

原创 Python||import本质||os.getcwd()||os.path.abspath()||"\"与"/"区别||join()

导入模块的本质就是把python文件解释一遍，并赋值给模块名。from module_name import function_name就是把一部分代码赋值给function_name。os.getcwd()获取当前工作目录，如果是window系统，得到的是window下的反斜杠目录。G:\test\fileos.path.abspath()获取绝对路径正斜杠（/）与反斜杠（\...

2019-01-08 19:59:18 907

原创 Python||os模块做量化知道这些就够了os.path.join()

os包os包用于处理文件和目录。# 重点常用命令os.getcwd() # 返回当前工作目录os.remove(path) # 删除路径为path的文件，如果path 是一个文件夹，将抛出OSErroros.removedirs(path) # 递归删除目录os.rename(name_1,name-2) # 从name_1重命名到name_2os.pa...

2019-01-05 00:06:08 696

原创廖雪峰SQL教程读书笔记（六）：数据库事务&隔离级别

数据库事务：把多条语句作为一个整体进行操作的功能。数据库事务可以确保该事务范围内的所有操作都可以全部成功或者全部失败。如果事务失败，那么效果就和没有执行这些SQL一样，不会对数据库数据有任何改动。数据库事务具有ACID这4个特性：A：Atomic，原子性，将所有SQL作为原子工作单元执行，要么全部执行，要么全部不执行；C：Consistent，一致性，事务完成后，所有数据的状态都是一致...

2019-01-04 22:05:35 295

原创廖雪峰SQL教程读书笔记（五）：SQl语句小技巧及MySQL中的应用

MySQL安装完MySQL后，除了MySQL Server，即真正的MySQL服务器外，还附赠一个MySQL Client程序。MySQL Client是一个命令行客户端，可以通过MySQL Client登录MySQL，mysql -u root -p。然后，输入SQL语句并执行。也可以使用可视化图形界面MySQL Workbench管理MySQL。MySQL Client的可执行程序...

2019-01-04 21:30:23 341

原创廖雪峰SQL教程读书笔记（四）：修改数据

关系型数据库的基本操作就是增删改查，即CRUD：Create、Retreive、Update、Delete。分别对应SELECT、INSERT、UPDATE、DELETE语句。INSERT插入记录INSERT INTO <表名> (字段1, 字段2, …) VALUES (值1, 值2, …); # 语法INSERT INTO students (class_id, na...

2019-01-04 18:58:24 184

原创廖雪峰SQL教程读书笔记（三）：查询数据

# 基本查询，SELECT查询结果是一个二维表SELECT * FROM students; # 从students表格中选取所有数据SELECT 100+200 # 不带FROM可以直接运算得到300，用来检测当前数据库的连接是否有效----------------------------------------------------------# 条件查询，WHERE关键字...

2019-01-04 18:39:09 256

原创廖雪峰SQL教程读书笔记（二）：关系模型

关系模型的本质就是若干储存数据的二维表，表的每一行称为记录(Record)，记录是一个逻辑意义上的数据；每一列称为字段(Column)，同一个表的每一行记录都有相同的若干字段。字段定义了数据类型，及是否允许为NULL，NULL表示字段数据不存在但并不是0或空‘’。关系表中，两条记录不能重复。不是指两条记录不完全相同，而是指能够通过某个字段唯一区分出不同的记录，此字段就是主键。主键是关系表中唯...

2019-01-04 13:57:24 359