- 博客(67)
- 收藏
- 关注
原创 qlib数据装载与模型搭建
API接口,方便user管理(manage)和检索(retrieve)自己的数据。数据装载好后依据实际需求和任务目标收益率搭建模型进行回测或实盘进行下单操作,同时需要进行风控和指标分析。
2024-05-09 23:16:20
380
原创 基于树的时间序列预测(LGBM)
梯度提升模型特别适用于处理复杂的数据集,可以处理大量特征和特征之间的交互,并且对过度拟合也很稳健,同时能够处理缺失值。在大多数时间序列预测中,尽管有Prophet和NeuralProphet等方便的工具,但是了解基于树的模型仍然具有很高的价值。ARIMA 模型使用过去的值来预测未来的值,因此过去的值是重要的候选特征,可以创建许多滞后回归因子。创建基于时间的特征,包括日期、星期、季度等各种特征,通过 pandas series 的 "date" 类中提供的一系列函数,可以轻松实现这些需求。
2024-05-06 22:41:04
1267
2
原创 拆单算法交易(Algorithmic Trading)
TWAPTWAP交易时间加权平均价格Time Weighted Average Price 模型,是把一个母单的数量平均地分配到一个交易时段上。该模型将交易时间进行均匀分割,并在每个分割节点上将拆分的订单进行提交。例如,可以将某个交易日的交易时间平均分为N 段,TWAP 策略会将该交易日需要执行的订单均匀分配在这N个时间段上去执行,从而使得交易均价跟踪TWAP,计算公式为:TWAP不考虑交易量的因素。TWAP的基准是交易时段的平均价格,它试图付出比此时段内平均买卖
2024-04-29 15:25:25
2132
原创 机器学习数据预处理—统计分析方法
依据研究对象(样品或指标)的特征,对其进行分类的方法,减少研究对象的数目。各类事物缺乏可靠的历史资料,无法确定共有多少类别,目的是将性质相近事物归入一类。各指标之间具有一定的相关关系。变量类型:定类变量、定量(离散和连续)变量样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。
2024-04-06 17:40:51
1296
原创 LGBM算法 原理
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛,通常被用于多分类、点击率预测、搜索排序等任务。而LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架,支持高效率的并行训练,并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
2024-03-25 23:26:01
2195
原创 数据分析与挖掘
在大数据系统上进行的离线计算通常针对(某一方面的)全体数据,比如针对历史上所有订单进行商品的关联性挖掘,这时候数据规模非常大,需要较长的运行时间,这类计算就是离线计算。MapReduce、Spark、Hive、Spark SQL这些技术主要用来解决离线大数据的计算,也就是针对历史数据进行计算分析,比如针对一天的历史数据计算,一天的数据是一批数据,所以也叫批处理计算。HBase的主要用途是在某些场景下,代替MySQL之类的关系数据库的数据存储访问,利用自己可伸缩的特性,存储比MySQL多得多的数据量。
2024-03-24 16:05:02
1659
原创 小知识dd
的那 两个 整数,并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。,请你在该数组中找出 和为目标值。1、给定一个整数数组。
2024-02-20 11:25:28
177
原创 Qlib从入门到精通
前面谈到了简单的一个示例代码,实际上里面的策略源码和模型回测源码都需要好好了解,他这个回测系统和我之前用到的回测策略代码有不一样的地方,作为一个量化策略攻城狮,掌握源码是基本的技能。Qlib内置的数据采集里,已经支持了采集基金数据,是网上收集公募基金的数据,由于我们量化仅需要ETF的数据,所以。Qlib内置了A股、美股两个市场的历史数据,上一篇文章也谈到过,可以通过运行如下的脚本把数据自动获取到本地。dump_bin是把csv格式的数据转换为qlib的格式,这样qlib就可以使用。
2023-12-31 20:20:20
1768
1
原创 制作系统U盘启动surface教程
有三个选项,直接下最后iso镜像选项,因为预览版系统的版本要比所有系统版本都要高,你下载第一个安装助手不行的,他告诉你你的已经是最新的,更新不了更回退不了,第二个也不行,我就是用第二个给刷崩的,第二个安装介质他会创建U盘介质启动项,结果在创建分区安装的时候会提示install win.ini fail,并且分区还分区失败,那个next灰色的点不了,这个时候你就只有哭的机会了。
2023-12-27 23:07:09
1260
原创 java配置+J_IDEA配置+git配置+maven配置+基本语句
文件名删除文件夹:rd 文件夹名,rd /s 带子文件夹一起删。创建文件夹:mkdir。当前目录文件夹dir。目录不为空不能直接删。
2023-12-18 11:37:59
983
原创 量化交易全流程(八)
例如,如果数据集包含20个特征,并且要选择5个特征的子集来构建不同的决策树,则将随机选择这5个特征,并且任何特征都可以是多个子集的一部分。与数据集的随机选取相似,随机森林中的子决策树的每一个分裂过程并未用到所有的决策点,而是从所有的决策点中随机选取一定的决策点,再在随机选取的决策点中选取最优的决策点。第一,从初始的数据集中采取有放回的抽样方式,构造子数据集,子数据集的数据量和初始数据集相同。第三,如果有新的数据需要通过随机森林得到分类结果,可以通过对子决策树的判断结果进行投票,得到随机森林的输出结果。
2023-12-04 12:50:34
269
原创 量化交易全流程(七)
均值﹣方差理论的核心思想是同时考察资产组合的预期收益和风险。研究当我们有一系列可选资产的时候,应如何对其配置资金权重,从而可以得到最好的收益风险比?现代资产组合理论(Modern Portfolio Theory,MPT)是金融理论的重要基础。这一理论是由马克威茨(Harry Markowitz)首先提出的,因为这一理论,马克威茨荣获了1990年的诺贝尔经济学奖。当然,这里介绍的模型是最基础的模型,现实实践中往往并不能直接使用。□假设资产的风险可以用资产收益率的方差(标准差)进行估计。
2023-10-08 23:38:32
721
原创 量化交易全流程(六)(待完善补充)
同时,也要注意到,Beta系数不一定是稳定的,而且不同的历史样本,算出来的 Beta 系数肯定是不一样的。然而,即使有了基准组合,管理者的投资也不一定包括基准组合中的所有股票。实际上这是一个迭代的过程,当将最显著的因子纳入模型之后,后面的因子需要接受更为严格的检验才能纳入,只有当它们能够增加模型的解释能力的时候才考虑将其纳入。不过,虽然APT 模型提出了一个很好的框架,但该理论并没有告诉我们,因子是什么,如何计算一只股票对因子的风险头寸,所以APT还需要进行进一步的完善和研究,才能真正用于实际投资。
2023-10-04 18:03:37
334
原创 量化交易全流程(五)
最基本的回测系统是指,当我们有一组交易规则,需要根据历史数据来获取这组交易规则的业绩表现时,除了给出历史表现之外,有时候还需要优化参数。这些系统都是回测系统的一部分。在我们研究策略的时候,需要知道某个策略的历史表现,这种情况就需要编写回测程序来查看了。口 使用现成的商业软件,这种商业软件提供的编程语言大体包含两类,一类是比较简单的Easy Language,比如Multicharts、Tradeblazer、文华财经等。本节主要讨论回测相关的内容,包括两种不同的回测机制,即向量化回测和事件驱动回测;
2023-10-03 15:06:02
492
原创 量化交易全流程(四)
本节目录数据准备(数据源与数据库)CTA策略数据源:在进行量化分析的时候,最基础的工作是数据准备,即收集数据、清理数据、建立数据库。下面先讨论收集数据的来源,数据来源可分为两大类:免费的数据源和商业数据库。免费数据源包括新浪财经、Yahoo财经等。这些数据源提供的接口比较复杂,不是很好用。好消息是,Python中有对应的开源工具可以让数据获取变得简单。比如,akShare 能够获取新浪财经的数据,pandas-reader能够获取 Yahoo Finance 的数据。
2023-10-03 14:57:33
472
1
原创 量化交易全流程(三)
----------------------------------------------金融基础概念-------------------------------------------------------
2023-09-17 19:15:33
537
原创 部署云MYSQL(在线版)+查看系统所有信息的命令
网站上可以部署免费的MYSQL,在应用商店里能看到可以搭建多种数据库:(前提是要注册登录,免费版只能是2人共享)然后新建项目:会填写名称,密码,但是部署端口和域名由于免费版无法更改,因此也不需要改,如果要删除项目可以点击项目,进入左栏设置:就可以看到删除项目。登陆好后,点击工作台,选择应用商店:可以看到有。
2023-09-16 19:30:20
295
原创 量化交易全流程(二)
-------------------------------------------统计分析基础--------------------------------------------
2023-09-13 01:13:58
188
原创 量化交易全流程(一)
本节目录:1、前沿介绍2、各软件的使用比较3、变成环境的搭建4、集成开发环境的介绍(IDE)5、python常用库的介绍5.1、numpy5.2、scipy5.3、pandas6、可视化分析6.1、实时行情,历史行情,Tick行情,公司公告,股指行情获取(接口介绍)6.2、K线图、折线图、散点图、条形图、直方图、饼图、函数图、热力图、可交互K线图
2023-09-03 22:14:18
721
原创 自然语言处理:提取长文本进行文本主要内容(文本意思)概括 (两种方法,但效果都一般)
----------------------------------方法一:jieba分词提取文本(句子赋分法)------------------------------------------------------------方法二:封装成界面(句子赋分法)-------------------------这部分要安装的库包括:jieba,re,这部分作用是利用正则表达式把文本去除类似于:[数字];本文主要针对长文本进行文本提取和中心思想概括,原文档放在了附件里面:
2023-09-02 12:44:39
1859
原创 把一般数据转换成因子数据格式,做单因子、债券对历史数据回测+获取curl命令+垃圾数据转换成标准行情数据(bardata)
下载好后解压到文件夹,将里面的bin文件添加到环境变量中,bon文件地址为:C:\Users\59980\curl-8.2.1_7-win64-mingw\bin。若同时从同一站点下载多个文件时,curl会尝试重用链接(connection)。# 将文件下载到本地并命名为mygettext.html。# 将文件保存到本地并命名为gettext.html。-o:将文件保存为命令行中指定的文件名的文件中。-O:使用URL中默认的文件名保存文件到本地。同样可以使用转向字符">"对输出进行转向输出。
2023-09-02 10:40:55
105
原创 用户输入问题,将问题代表的语句存到mysql或qdrant向量数据库,然后对所有语句进行分词生成词云+pip安装切换镜像源
点击简体文件,按 ctrl+c 复制该字体文件,将该文件放在下面你要写的代码所在位置,比如我写的代码py文件放在 "C:\Users\59980\Desktop\peixun位置,你就将改字体文件放在该文件夹,最终字体文件路径:"C:\Users\59980\Desktop\peixun\msyh.ttc"。例如,选择了微软雅黑字体(msyh.ttf)作为显示效果,需要将该字体文件与代码存放在同一目录下或在字体文件名前增加完整路径。3、安装numpy、pillow库。二、打开命令行:windows+R。
2023-08-29 00:35:14
254
原创 建立DBeaver数据库和查看每次运行的日志moba Xterm
MY FICC部门进行因子投研需要用到数据库和日志查看,,点击installer即可下载,下载好后按照提示安装选择安装的组件全选即可:安装目录最好选择能找到的显式位置,不要安装在Appdata里面,找不到,每次都要到cmd输入appdata才能进入找到文件夹,很麻烦。
2023-08-26 13:43:56
1746
原创 用DBeaver连接本地数据库进行数据筛选
如果表的列名和表格的列名不一致会发生(如列名ID不一致,表的列名为ID,表格列名为:“代码”),ID列为NULL,且在表的最后一列会生成“代码”一列,后面做运算极其麻烦,要规避这种情况,到这里数据导入部分结束了。先读取3个文档,然后按行拼接数据,再按日期进行排序,原始数据是很乱的,有可能倒序,最后输出成csv格式,输出后的格式为:25000多行,首先需要对原始数据进行处理,把不同表格数据进行拼接在一个文件里面,前面几篇文章讲过怎么连接了,这里不再赘述,最重要的是要把文件格式改成'utf-8'格式。
2023-08-26 12:27:31
3727
原创 Win10或Win11 Home中如何启用Hyper-V运行虚拟机+安装docker应用容器安装
将文档另存为批处理文件(单击File > Save As,从Save as type下拉菜单中选择All Files (*.*),然后在File name框中键入 hv.bat — 尽管它是 .bat重要的部分;您可以使用任何您喜欢的名称)。注意:如果您没有在“开始”菜单中看到 Hyper-V 管理器,请打开“设置”并前往“应用程序”。查看“开始”菜单,您会找到一个Hyper-V 管理器的新条目,然后您可以使用它来安装和测试各种操作系统,从 Linux 发行版到 Windows 11。
2023-08-23 23:28:57
3444
原创 期限利差怎么看
我们同样构建了25个回测组合,与做平曲线的操作类似,设置了5个低利差标准作为入场准则,即利差向下突破历史5%、10%、15%、20%及25%分位数,并等待利差上行放大至历史的40%、45%、50%、55%及60%分位点作为利差回归中枢的退出信号。在做陡曲线时,显然期限利差由5%的低分位水平上行至45%中枢水平的过程,(差距40%)相较于由20%分位走阔至45%分位数(差距25%)的过程难度更大,但考虑到两种情形下触发交易的轮次一样(均为两次),后者的平均收益反而比前者会更高一些。
2023-08-22 17:15:55
177
原创 安装 MySQL 服务时提示 Install/Remove of the Service Denied
在安装 MySQL-8.0.25-winx64 的 MySQL 服务时遇到了以下提示:安装 MySQL 服务时提示: MySQL 服务没有加载到电脑上时,以下功能都将无法使用:启动 MySQL 服务是就会提示 服务名无效; 无法登录上 MySQL 的账户,无法使用 MySQL; 解决 Install/Remove of the Service Denied!(安装/删除服务被拒绝!)的方法如下所示: 看到 “Service successfully installed.” 就说明MySQ
2023-08-19 22:21:32
342
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人