- 博客(244)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 时间序列分析这件小事（四）--AR模型
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx1.自回归之前说了，分析时间序列和回归一样，目的都是预测。在回归里面，我们有一元回归于多元回归，在时间序列里面，我们有自回归。与一元、多元一样，我们分为一阶与多阶自回...
2016-12-03 10:37:06
27346
原创 时间序列分析这件小事（三）--自回归的假设检验
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx和线性回归一样，我们对参数是要做检验的。不是回归出了什么方程，什么系数我们就认了。如果回归学的好的话，我们还会记得，在多元归中，我们有一个F检验，用来检验是否所有因子前面...
2016-12-02 22:22:20
19601
原创 时间序列分析这件小事（二）--自回归
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx说到时间序列，那么就必须提起自回归了。什么是自回归呢，就是说未来的一个时点可以用之前的时点来进行回归预测，还是那一串数字，但是时间状态不同了，存在不同阶的时滞。所以呢...
2016-12-02 22:00:47
11983
1
原创 时间序列分析这件小事（一）--基本概念与R-studio入门
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx数据处理，python其实比R有很多优势，但是，单纯的做一些实验和研究，其实R更加合适，特别是时间序列分析，R的包很完备。1.时间序列基本概念首先，我们讲一下什么是时间...
2016-12-01 22:29:49
11131
1
原创 想炒房？你得会爬虫
16年一年似乎楼市经常成为热点话题啊，而现在政府多次调控，意志很坚定的样子，那么市场的反应如何呢？我们来写个爬虫吧，目标网站就是链家网。我们在链家网上面可以看到有这些公司可以选择，所以我们的第一步就是获取每个城市的链接。老样子，我们用xpath来获取这些城市的链接：然后，我们只要遍历这些链接，取出我们要的数据，就是当前在售的二手房和出租的房屋就可以了。不多说
2016-11-30 21:18:07
1381
1
原创 python绘制heart
python有一个强大的模块，叫做matplotlib，但是，和matlab比，似乎还是弱了些，因为目测无法绘制隐函数！而matlab有ezplot。所以，如何用python去绘制一个心的形状呢？我们先来看一下heart的解析方程。(x²+y²-1)³-x²2y³=0看起来很简单的样子，变成python的表达式就是：(x**2+y**2-1)**3-x**2*2*y**3显
2016-11-23 19:32:30
3612
转载 300 行 python 代码的轻量级 HTTPServer 实现文件上传下载
# !/usr/bin/env python# coding=utf-8# http://my.oschina.net/leejun2005/blog/71444""" 简介：这是一个 python 写的轻量级的文件共享服务器（基于内置的SimpleHTTPServer模块）， 支持文件上传下载，只要你安装了python（建议版本2.6~2.7，不支持3.x）， 然
2016-11-08 19:21:35
7574
1
原创 用Python做投资-python仿真等价鞅下的收益曲线
有一个赌局，抛一枚硬币，正面朝上赢，反面朝上输。然后每次自由下注。如果我们按照这样的次序下注：1,2,4,8,16，......,2^n.只要有一次获胜，那么我们就从头再来。这里我们可以看出，每次获胜都可以赢得1元钱。因为2^n次方的数列前n-1次项和为2^n-1。这里我们就能看出，只要你有足够多的钱，那么你总能赚钱。这一游戏，就叫做等价鞅。# -*- coding: utf-8 -*-
2016-10-24 18:21:08
2551
2
原创 用pandas绘制箱体图（boxplot）
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx箱体图是一种用于表示分布的图像，由五个分位数组成。很好用的图，但是excel要生成这个可就得曲线救国了，然而如果用python加上pandas的话就很easy啦。话不...
2016-10-18 20:06:45
31971
原创 用Python做投资-关于term spread
利率这个东西，说简单也简单，说复杂也复杂。所以玩债券的才是高手，门槛很高，玩股票的都是散户。我国市场有Shibor这个上海银行间同业拆借利率。有一种说法，就是可以用term spread来判断经济的情况。什么事term spread呢？首先说一下term structure。term structure就是现在开始，不同时间长度借钱你要求的利率，换句话说，就是你的流动性偏好。可想而知，一笔钱，
2016-10-13 20:44:28
3553
3
原创 用Python做投资-小试牛刀
统计、机器学习这种东西，用来做别的有点不好玩，但是用来玩股票真的可以吗？ 市场的复杂性不是统计可以刻画的，所以，量化投资做的再好，这也仅仅是一种辅助罢了，至少当前的自己是这么理解数学在金融市场中的地位的。这一地位，不是低，而是很高，很科学，不是拍脑袋做决策，而是有数据驱动的依据。 希望以后这个系列的文章能够更新下去吧，不一定是股票，只要和投资有关，和程序有关，好玩
2016-10-11 21:30:14
4184
2
原创 ARI聚类效果评价指标
聚类效果有一个评价指标，ARI（Adjusted Rand Index）。这个指标不考虑你使用的聚类方法，把你的方法当做一个黑箱，只注重结果。可以说，是一个十分“功利”的指标。1.Rand index在讲ARI之前呢，先讲述一下RI，也就是rand index，从两者的名字也可以看出来，这是ARI的祖宗版。这里，我们解释一下a,b,c,d分别代表什么。a呢就是说应该在一类，你最
2016-09-27 15:03:09
33281
12
原创 用Excel进行基金业绩评价
基金业绩评价这种事，无非也就是那么几个指标，Sharpe ratio，Treynor Ratio，InformationRatio，Jensen‘s alpha，当然啦，还有一些特立独行的，不过一般教科书上就是这几个。做基金业绩评价这件事之前呢，我们先要完成一个CAPM模型中，用于度量系统性风险的beta的求取，某种意义上来说，beta是一个基金风格的指标。假设我们有如下数据。
2016-09-17 23:40:00
10506
原创 FRM笔记之金融市场与产品-关于利率
在FRM考试中，债券远比股票重要。讲到债券，那么必然逃不了利率，interest rate。有一种利率叫做无风险利率，这种利率是所有定价的基础。1、关于利率通常，有这么三种无风险利率：美国国债利率LIBOR回购利率利率永远是一个区间的概念，而不是一个时间点的概念，所以这里就有一个问题，这个利率下的利息是如何支付的？年化的还是连续复利？所以在确定利率数值的同时，我们也得知
2016-08-19 11:12:08
2087
原创 FRM 数量分析笔记之线性回归
线性回归可能大家都会觉得很熟悉了，玩过机器学习的人还会觉得这个low low的，其实，线性回归在数理统计的角度下，还是有很多值得考察的地方的。线性回归，自然就想到最小二乘法了。线性回归说白了就是确定斜率和截距，他们的计算方法如下所示。斜率的确定很有意思，协方差除以独立变量的方差。所以，协方差、独立变量方差、斜率，知道两个就可以获得第三个；结合之前的相关系数，那么，可以互推的情况就很
2016-08-19 10:40:40
3114
原创 FRM 数量分析 区间估计与假设检验
这里开始就是数理统计的东西了，没有接触过的童鞋可能会觉得有点不能接受，其实接触多了也就熟悉了。个人有这样一种感觉，假设检验和区间估计就是概率的概率，或者说，就是概率论的二次方。先说一下抽样和估计吧。我们现在有一个总体，但是，通常总体的一些统计量的获取是很花时间和金钱的，所以呢，我们就想着抽样。所谓抽样，当然就是从整体中抽一些样本出来。这个时候就有一个问题了，我计算了抽样获得的样本的均值、方差，
2016-08-18 17:30:29
1804
原创 FRM 数量分析笔记之概率分布
对于一个随机变量最完整的描述就是概率分布函数了。1、切比雪夫不等式 首先我们提出一个切比雪夫不等式： 这是什么意思的？对于任何一个概率分布，注意，是任何一个哦，某一个数值落在K倍标准差的概率大于1-1/k^2。是不是很神奇，因为它对一切概率分布都满足。那么特殊的概率分布有什么特点呢。这里我们就来讨论几个常用的概率分布。2、伯努利与二项分布
2016-08-18 16:19:39
6030
原创 FRM 数量分析笔记之概率论
FRM第一部分的考试第二章叫做数量分析，其实说白了就是概率论和数理统计。想想自己在本科学的概率论，虽然分数还比较高，但是真的是没有理解透彻，学了一遍也算是加深了系统性理解了吧。1.基本运算 随机变量是什么东西呢？一般来说，一个变量就是一个值，但是在概率的世界里面，一个变量的描述是一个概率分布函数，存在不确定性。那么对于变量，必然有四种基本运算，加减乘除。
2016-08-18 15:00:51
3027
原创 手把手搭建一个聊天机器人（二）
这里，我们要去网上申请一个API，我们使用的是图灵聊天机器人。，网址是：http://www.tuling123.com/申请步骤就不说了，如果不会的话，我觉得，你这辈子只能和真人聊天了，把页面关了吧。 注册完毕后，点击左边的仪表盘（国外的platform叫dashbord，您翻译的还真是直接啊）。然后在机器人接入下就可以看到属于你的API key 和secret了，右边还有
2016-07-22 17:15:14
3035
原创 手把手搭建一个聊天机器人（一）
这一个教程的目标是让大家能够用Python写一个能够和你聊天，能够帮你查询天气等等等的聊天机器人。当然啦，我们不会彻底制作一个，而是去调用人家的API。既然是调人家的API，那么，我们就需要先熟悉一下http的POST协议。大家平时上网的时候用的必然是浏览器，但是，你鼠标点击的过程中，究竟发生了什么呢？
2016-07-22 16:24:37
8499
2
原创 敏捷开发与个人管理
1、概论 敏捷开发，其实道理很简单，但是太多的事情是道理简单却做不到。 敏捷开发（Agile）的核心是去中心化，扁平化结构，拥抱变化，习惯不确定性，当然，还有最重要的迭代。2、三种角色 在上面这张图中可以看到，在Scrum中有三种角色，产品负责人（scrum owner）、Scrum master和menbers。
2016-07-11 16:34:57
2075
原创 SQL学习笔记（一）
#登入MySql -u root [-p][...]#创建一个数据库CREATE DATABASE IF NOT EXISTS `luyixiao` DEFAULT CHARACTER SET 'UTF8';#选中一个数据库，以供后面使用USE `luyixiao`;#在数据库中创建一个表格 CREATE TABLE IF NOT EXISTS `user`（ NAME TYPE
2016-07-09 22:31:48
554
原创 KL散度及其python实现
KL散度又是一个从信息论、熵的角度考量距离的一个量。但是，这里说他是距离有点不妥，因为距离需要满足4个条件：1) d(x,x) = 0 反身性2) d(x,y) >= 0 非负性3) d(x,y) = d(y,x) 对称性4) d(x,k)+ d(k,y) >= d(x,y) 三
2016-07-05 21:31:57
20581
2
原创 Tushare与Mysql在python下的演义
首先给大家介绍的是一个很强大的财经数据接口库，是专门为python准备的哦。不过唯一的缺点是有比较大的数据缺失，这个库就是Tushare财经数据接口，官网如下：http://tushare.waditu.com/index.html做的相当不错，使用pandas的框架做的。熟悉pandas的同学可以迅速上手哦。这次我们就从这个接口里面获取一些东西之后存到数据库里面。一方面是学习使用Tu
2016-07-01 21:07:47
7810
原创 Scrapy之图片爬取。
Scrapy有一个很好用的内置功能去获取图片。首先假设我们要自己写一个获取图片的爬虫吧。那么显然，你需要的就是获取图片链接，然后写一个专门下载图片的pipline。很开心的是，scrapy其实已经给你实现好了这个pipline了，是不是很贴心呢！好了，我们开始吧。和一般程序员同学爬取图片动不动就是美女不同，咱们今天爬汽车。# coding=gbkfrom scrapy.spide
2016-06-23 23:00:10
4051
原创 Scrapy之日志文件的产生
我们写爬虫的时候，也许会需要记录一些数据或者异常信息，通常这些数据我们会希望以日志的形式保存下来。首先，我们在需要产生日志的python文件开头引入一个logging包。import logging然后，我们可以用self.log("your log information")这样的方式产生你的log文件。当然，我们还需要一些设置，就是修改一些我们的setting文件。我们需要在s
2016-06-23 22:36:32
9543
原创 Scrapy之探讨3个细节
1.多个pipline的处理 在Scrapy的框架中，其实可以有好多pipline。大家在编写pipline的时候有没有这样的一个疑问，为什么pipline函数最后要有一个语句是return item 明明item是传入pipline的，怎么又传出去了呢。 大家还记得在使用pipline的时候，在setting文件中要写一个数字么， 比如：XXX.XXX.M
2016-06-22 21:55:56
1488
原创 Scrapy进阶之Scrapy的架构
Scrapy是一个python的爬虫架构，但是这个架构的工作原理是怎么的呢？也就是说，Scrapy的框架是怎么样的。网上已经有很多博文说这个框架了，但是我想用另外一种方法来讲述。 话说有一天，我想写一个爬虫。爬虫，说白了就是去互联网上下载东西，然后提取下载下来的页面中有用的字段。这件事怎么说也是一个工程吧，作为一个工程师，好吧，就是一个码农，你的模块化思想应该体现出来了。
2016-06-21 22:49:02
1032
1
原创 Scrapy的几个命令行命令
Scrapy在命令行有许多直接可以使用的命令。命令可以分为两类，一类是依赖于工程的，一类是不依赖的。对于不依赖的，就当做是一个工具就行了，有点java里面静态方法的感觉，就是一个tool。依赖于工程的方法有这么几个。1.list，进入工程文件夹之后，输入scrapy list就可以获取该工程下所有的爬虫名字。2.genspider。顾名思义，就是用来产生爬虫的。也是一个依赖于工程的。前
2016-06-20 21:34:41
1373
原创 通联量化的公开课
前天去陆家嘴参加了通联量化的一个公开课。通联量化才两周年，所以我还是比较早的知道这个平台的人，至少一年多以前就知道有这样一个东西，可惜当时太年轻，二级市场的知识也很匮乏，更加重要的是，没有经历过A股暴跌，没有被市场教育过。 简单做一个公开课笔记吧，量化之路还很长。 行研研究员强调的是深度，对行业的深度，一生可能就盯紧了那么一两个行业，而量化则是广度。量化策略
2016-06-18 22:31:15
2197
2
原创 大话机器学习之数据预处理与数据筛选
数据挖掘和机器学习这事，其实大部分时间不是在做算法，而是在弄数据，毕竟算法往往是现成的，改变的余地很小。 数据预处理的目的就是把数据组织成一个标准的形式。1.归一化 归一化通常采用两种方法。 a.最简单的归一化，最大最小值映射法 P_New=(P-MI)/（MA-MI） P是原始数据，MI是这一属性中的最小值，MA是这一
2016-06-14 21:04:46
5429
原创 大话机器学习之决策树（DS）
什么是决策树呢？其实很直观，这样的就是 不说了，先看数据： 这是一个医疗检测的数据，前面六个是指标，具体是什么其实没有意义，说的好像化验单上的那些医学术语你都知道似得。最后一个就是结果。我们就是要构建一颗决策树，根据前面六个指标，预测最后结果是消极还是积极。当然，码代码之前我们先要对数据做一点处理。 对于后面这一行，我们当然是把消极变为0，积极变为
2016-06-12 15:20:06
1672
原创 PyBrain-Python的人工神经网络
python有一个很好用的神经网络库。虽然sklearn很强大，但是好像对神经网络的支持并不是那么那好。1.安装安装很方便，项目是一个开源的，托管在github上。如果你用的也是Anconda平台，那么在Anconda Prompt的命令行中敲下pip install git+https://github.com/pybrain/pybrain.git@0.3.3等一会儿就会装
2016-06-08 19:56:37
9941
2
转载 在Excel中获得汉字的首字母
在EXECL中，按ALT+F11，插入---模块复制下列代码： Function hztopy(hzpy As String) As String Dim hzstring As String, pystring As String Dim hzpysum As Integer, hzi As Integer, hzpyhex As Integer hzstring = Tri
2016-05-31 20:12:50
1377
原创 python中，list转str
在python中，经常会有需要把list转成一个字符串的情况。比如['you','are','freak']。怎么把它变成“you are freak”呢？ python的str类型有一个方法，叫做join，作用就是把原str作为间隔，插入到list中的每一个str元素中。所以， ' '.join(li) 返回的就是'you are freak'。这个过程
2016-05-31 19:44:56
2174
1
原创 让爬虫更加友好
写一个爬虫去互联网上采集数据这件事情，看似好像对别人没有坏处，其实如果爬虫不断的去爬数据的话，会给爬取对象的网站造成很大的压力。所以我们往往会限制爬虫爬取的速度。之前最原始不用框架爬取交大的图书馆数据，后来整个实验室不能上图书馆的网了；使用了scrapy框架之后，没有做限速设置，后来又这样了。这次又改了一下。在spider同级目录下有一个settings.py文件，其中有一个配置，AUTO
2016-05-30 20:42:41
1256
原创 深入浅出Python装饰器
python有一种机制，叫做装饰器。顾名思义，就是在你写的函数运行之前做一点装饰。先来看第一个，内部函数。1.内部函数def fun(): def inter_fun(): x=9 return "x is big" return inter_funf= fun()这是一个很简单的例子，想想我们调用函数fun（）的时候会发生什么？对，
2016-05-24 22:30:18
671
原创 Excel ActiveX教程（一）
VBA真的是一个很强大的东西，当人家手工黏贴的时候，你只要编好代码，然后一劳永逸。不过最近发现ActiveX用起来好像更加方便的样子，特别是对于要做简单界面，人性化的应用场景。 excel中什么是ActiveX？不用思考那么多，反正就是一种集成在Excel中的控件，也就是说，你可以在excel表格旁边加一个按钮，别人打开excel表格之后，填几个数字，点一下按钮就可以实现某些功能，
2016-05-20 17:38:23
11131
1
原创 sjtuLib爬虫-Scrapy
交大的图书馆网站做的真的不好，不好。但是还是要爬。没有做防墙机制，在爬取了15万条记录之后，IP又被图书馆墙了，而且貌似整个实验室都被wall了。。。。上代码！from scrapy.spiders import Spider from scrapy.selector import Selector import scrapy#from scrapy import log
2016-05-13 22:01:16
995
原创 VBA中的几个小Tips（一）
1.如何获的表格的行数当然这里的行数是指有效使用的行数。i = Sheets(2).[A65535].End(xlUp).Row这里i就是你能够获得的第二张sheet中的所有有效行的个数。Sheets（）括号里面的数字就是指第几个sheet。2.在VBA里面使用Excel中的函数。在函数前面加上Application.WorksheetFunction就可以了。比如使用vloo
2016-05-13 16:13:07
639
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人