2019年08月_S_o_l_o_n

原创 pandas_profiling: 基于pandas的描述性统计报告生成器

最近发现了一个基于pandas的第三方库pandas_profling，其作用是基于pandas的DataFrame中的数据内容，一次性生成关于该DataFrame数据的描述性统计报告，该报告对于我们了解这个数据的基本特点和一些统计特性很有帮助，根据该报告可以让我们对该数据具有一个基本的认识和感知。本文先讲一下该报告包括了哪些内容，然后再讲一下使用方法。该报告是htm...

2019-08-29 16:50:53 1354

原创各大期货交易所保证金收取方式说明

保证金制度是期货交易所的特色交易制度，其指的是当投资者在对期货合约进行开仓交易时，只需要支付合约价值一定比例的保证金，而不用支付全额的资金，而这个比例也一般在5%-15%左右；所以，保证金制度使得期货市场交易具有杠杆属性，而这个杠杆属性会增加收益风险，所以期货市场相比于股票市场，往往具有更高的风险。由于期货交易中，持仓实际成本就是占用保证金，所以了解各个期货交易所的保...

2019-08-29 11:29:03 3139

原创 python编程之函数装饰器语法原理以及参数传递详解

笔者之前写过一篇简单介绍python函数装饰器用法的文章，本文便不再赘述。简而言之，python函数装饰器是一种通过特定语法，给函数额外增加一层逻辑，以实现相应目的的一种语法结构。本文将介绍装饰器的原理、被装饰函数是如何以参数的形式传入到装饰器函数内部的，以及实现给装饰器函数设定参数的参数传递原理。def decorator(func): def wrapper(*ar...

2019-08-23 00:04:39 1195

原创 python编程陷阱之UnboundLocalError

我们都知道，在python编程中，对变量的引用遵循LEGB规则。对一个变量的引用，其先会在本地命名空间中去寻找这个变量的引用，如果没有，则依次根据LEGB的顺序去寻找引用。本文要讲的陷进在于，我们有时候会期望一个非本地变量直接作用在本地，但是在本地引用之后又将该变量声明为本地变量，这时就会报错，因为本地变量在声明之前就被引用了。这里的陷进之处就是无意的将变量声明为了...

2019-08-22 15:27:01 848

原创 pandas性能提升之利用chunksize参数对大数据分块处理

DataFrame是一个重量级的数据结构，当一个dataframe比较大，占据较大内存的时候，同时又需要对这个dataframe做较复杂或者复杂度非O(1)的操作时，会由于内存占用过大而导致处理速度极速下降。对此，我们的方法是尽量避免直接对过大的dataframe直接操作(当然有时候没有办法，必须对整体的dataframe进行操作，这时就需要从其他方面优化，比如尽量...

2019-08-19 20:58:38 14490 3

转载高性能Pandas:eval和query

本文转载自michael的自由空间 jianshu.com/p/caaf201fc5a8 正如我们在前面几节中已经看到的，PyData堆栈的强大功能建立在NumPy和Pandas通过直观语法将基本操作使用C实现能力之上：例如NumPy的矢量化/广播操作，Pandas的分组类型操作。尽管这些抽象概念在许多常见的...

2019-08-16 10:02:26 384

原创 linux系统下通过crontab设置计划任务

在windows下，由于具有友好的可视界面，我们如果想要设置定时的自动化任务，可以直接搜索windows的计划任务，然后根据提示直接设置即可，由于有可视化界面，所以操作起来比较简单方便。但是其实在linux系统下，设置计划任务也非常简单。在linux下，一般是通过crontab来设置计划任务的，我们只需在shell里面输入crontab -e，然后回车，即可在在里面...

2019-08-09 22:00:29 486

原创 linux下的vim几个基础的文件操作命令

vim是一款编辑器，一般在linux系统下是预安装的，其可以直接在linux的shell下对文件进行查看和编辑，下面对其一些基本的操作命令做个简单总结。打开当前目录下的指定文件并查看：vim filename经过vim filename命令之后，就进入了vim环境，下面是vim环境下的命令：给文本标记行数：输入:set nu(number) 后回车搜索文件中特定的字符...

2019-08-09 21:45:29 492 1

原创 pandas性能提升之避免直接对大DataFrame多次索引和访问

DataFrame是一个比较重量级的数据结构，当我们对一个比较大的DataFrame进行多次重复性访问时，效率是很低的。比如，如果我们需要对一个DataFrame逐行进行一个相对复杂一点的操作，尽管可以使用相对高效的apply进行逐行遍历，但是如果我们对每行的操作需要同时用到其他行时，如果是直接对DataFrame进行操作，这时就避免不了对DataFrame进行索引操作，而实际上对D...

2019-08-05 11:07:17 658

原创浅谈CAPM和因子模型

在讲因子模型之前，我们需要先了解一下CAPM模型。 CAPM模型是从均值-方差效用理论导出的一个均衡模型，其假定人们都是理性的，都具有一样的均值-方差偏好形式，即都喜欢高收益低方差，且homogeneous。那么就可以得到，资产的收益满足如下的关系：该结论说明，在理论假设下，均衡状态中，由于无风险收益对于不同...

2019-08-04 22:49:58 7683 1

S_o_l_o_n的博客