数据挖掘&机器学习&市场分析
文章平均质量分 59
本专栏为【人工智能与财务】课程作业,将对中国市场是数据使用机器学习算法进行数据分析。
蓝色Primrose
长途漫漫,吾将上下而求索。
展开
-
第(六)篇:奇异值分析
前言:本篇用奇异值分解的方式分析一下申万行指。首先还是导入数据# 设置申万一级行业指数shenwan_code="801010.SWI,801020.SWI,801030.SWI,801040.SWI,801050.SWI,801080.SWI,801110.SWI,801120.SWI,801130.SWI,801140.SWI,801150.SWI,801160.SWI,801170.SWI,801180.SWI,801200.SWI,801210.SWI,801230.SWI,801710..原创 2021-07-14 11:44:56 · 218 阅读 · 0 评论 -
第(五)篇:PCA应用——申万行指
前言:本文是【人工智能与财务】课程作业。由于ML4T一书的源代码非常繁多,在数据处理一处就写了很多。我在进行代码复现时,决定使用一些简单的方式来替代,不想完全按照他的思路进行。于是此篇内容,是我根据原书代码自行发挥的成果,本文将会使用pca的方法分析申万一级行业指数。首先我们将数据下载下来,使用choice量化命令下载# 设置申万一级行业指数shenwan_code="801010.SWI,801020.SWI,801030.SWI,801040.SWI,801050.SWI,801080.SWI.原创 2021-07-14 11:09:43 · 357 阅读 · 1 评论 -
第(四)篇:PCA的原理
PCA是如何实现的主成分分析提出了几个重要的假设,需要牢记。其中包括:大的方差代表高信噪比数据是标准化的,以便在不同的特征之间进行比较线性变换捕获数据的相关方面超过第一个和第二个状态的高阶统计量无关紧要,这意味着数据具有正态分布对一阶矩和二阶矩的强调与标准风险/收益指标一致,但正态性假设可能与市场数据的特征相冲突。该算法通过寻找向量来创建目标维数的超平面,该超平面以数据点到平面的距离平方和来度量,从而使重建误差最小化。如上所示,该目标对应于在确保所有主分量相互正交的同时,找到与给定其他分量原创 2021-07-14 07:06:17 · 499 阅读 · 0 评论 -
第(三)篇:PCA的思想与代码实现
PCA的主要思想前言:本文是第一部分的第二篇代码,主要用于说明PCA的主要思想。PCA 表示主成分作为现有特征的线性组合,并使用这些成分来表示原始数据。分量数是一个决定目标维度的超参数,需要等于或小于观察数或列数,以较小者为准。PCA 旨在捕获数据中的大部分差异,以便轻松恢复原始特征,并且每个组件都添加信息。它通过将原始数据投影到主成分空间来降低维数。导包和设置环境import warningswarnings.filterwarnings('ignore')%matplotlib in原创 2021-07-13 21:44:54 · 402 阅读 · 0 评论 -
第(一)篇:无监督学习——从数据驱动的风险因素到分层风险平价
前言:本专栏是【人工智能与财务】课程作业,笔者将学习ML4T一书,并在中国市场中应用机器学习算法进行分析。其中,笔者在这里主要选择的是第13章无监督学习的内容。在本书的源代码中,本章内容共为4个部分,共17篇代码,将努力复现这些代码。本文,先大致讲述一下本章的思路。当数据集仅包含特征却没有结果时,或者说我们想要为数据划分新的标签时,无监督学习就派上大用场了。首先在无监督学习中,降维和聚类是无监督学习的主要任务:降维将现有特征转换为一个新的、更小的集合,同时最大限度地减少信息丢失。聚类算法识别.原创 2021-07-13 21:10:35 · 237 阅读 · 0 评论 -
第(二)篇:维度诅咒直观显示
维度诅咒前言:这一篇是第一部分线性降维的第一章,将说明在计算中高维数据如何是一个大难题,这就是我们说的维度诅咒。数据集维数的增加意味着在表示相应欧几里得空间中的每个观察的特征向量中有更多条目。我们使用欧几里得距离(也称为 L2 范数)测量向量空间中的距离,我们将其应用于线性回归系数的向量以训练正则化岭回归模型。两个具有笛卡尔坐标 p = (p1, p2, …, pn) 和 q = (q1, q2, …, qn) 的 n 维向量之间的欧几里得距离使用毕达哥拉斯开发的熟悉公式计算:因此,每个新维度都原创 2021-07-13 20:41:07 · 221 阅读 · 0 评论 -
一个案例理解贝叶斯规则,通俗易懂!
贝叶斯定理在统计中应用很广,这里选择一个小案例来讲解贝叶斯定理。小明的医生给了小明一份流感诊断书,诊断结果为“阳性”原创 2021-06-11 19:31:44 · 1533 阅读 · 0 评论 -
机器学习、强化学习、深度学习到底有何不同?
机器学习 Machine Learning,利用计算机模拟或实现人类的行为,就像人类一样通过学习获得新技能等等 机器学习与过往的计算机工作的区别: 传统的计算机如果想要得到某一个结果,需要人类赋予它指令,然后计算机按照指令执行即可得到结果;机器学习虽然仍需要人类赋予它指令,但这串指令不能通向最后的结果,这串指令是人类赋予它的学习能力,计算机需要使用它的学习能力,不断从数据中提取新数据,最后得出结果; 传统的计算机强调因果关系,而机器学习更推崇相关关系。 根据学习方式的不同,机器学习可原创 2021-06-13 16:25:32 · 1984 阅读 · 0 评论