蓝色Primrose-CSDN博客

原创 Tensorflow学习历程

现在开始tensorflow的学习历程，在学习之前，我是一个彻头彻尾的小白，于是打算在这里记录我误打误撞摸索的历程。第一步，什么是tensorflow？简单了解了，是goole强大的机器学习库。下载pip install tensorflow学习书籍是字王何海群的书《Tensorfolw快速入门》。字王的书非常浅显易懂，很适合我这样的小白，可以让我在没有很多数理知识的基础上快速地认识机器学习。第二步，主要的了解介绍了机器学习仿作梵高的画的过程，主要是想让我们感受一下工具的强

2021-11-10 13:16:37 1362

原创第（六）篇：奇异值分析

前言：本篇用奇异值分解的方式分析一下申万行指。首先还是导入数据# 设置申万一级行业指数shenwan_code="801010.SWI,801020.SWI,801030.SWI,801040.SWI,801050.SWI,801080.SWI,801110.SWI,801120.SWI,801130.SWI,801140.SWI,801150.SWI,801160.SWI,801170.SWI,801180.SWI,801200.SWI,801210.SWI,801230.SWI,801710..

2021-07-14 11:44:56 229

原创第（五）篇：PCA应用——申万行指

前言：本文是【人工智能与财务】课程作业。由于ML4T一书的源代码非常繁多，在数据处理一处就写了很多。我在进行代码复现时，决定使用一些简单的方式来替代，不想完全按照他的思路进行。于是此篇内容，是我根据原书代码自行发挥的成果，本文将会使用pca的方法分析申万一级行业指数。首先我们将数据下载下来，使用choice量化命令下载# 设置申万一级行业指数shenwan_code="801010.SWI,801020.SWI,801030.SWI,801040.SWI,801050.SWI,801080.SWI.

2021-07-14 11:09:43 375 1

原创基金投资组合构建

前言：本系列是【人工智能与财务】课程作业，将模拟用100万的资金进行基金的投资组合构建。首先展示构建好的投资组合，如以下表格：代码名称投资金额（万）投资占比050003.OF博时现金收益货币A55%100018.OF富国天利增长债券1515%519003.OF海富通收益增长混合1010%377530.OF上投摩根行业轮动混合A1414%260101.OF景顺长城优选混合1414%377240.OF上投摩根新兴动力混.

2021-07-14 10:25:15 728

原创第（四）篇：PCA的原理

PCA是如何实现的主成分分析提出了几个重要的假设，需要牢记。其中包括：大的方差代表高信噪比数据是标准化的，以便在不同的特征之间进行比较线性变换捕获数据的相关方面超过第一个和第二个状态的高阶统计量无关紧要，这意味着数据具有正态分布对一阶矩和二阶矩的强调与标准风险/收益指标一致，但正态性假设可能与市场数据的特征相冲突。该算法通过寻找向量来创建目标维数的超平面，该超平面以数据点到平面的距离平方和来度量，从而使重建误差最小化。如上所示，该目标对应于在确保所有主分量相互正交的同时，找到与给定其他分量

2021-07-14 07:06:17 504

原创第（三）篇：PCA的思想与代码实现

PCA的主要思想前言：本文是第一部分的第二篇代码，主要用于说明PCA的主要思想。PCA 表示主成分作为现有特征的线性组合，并使用这些成分来表示原始数据。分量数是一个决定目标维度的超参数，需要等于或小于观察数或列数，以较小者为准。PCA 旨在捕获数据中的大部分差异，以便轻松恢复原始特征，并且每个组件都添加信息。它通过将原始数据投影到主成分空间来降低维数。导包和设置环境import warningswarnings.filterwarnings('ignore')%matplotlib in

2021-07-13 21:44:54 404

原创第（一）篇：无监督学习——从数据驱动的风险因素到分层风险平价

前言：本专栏是【人工智能与财务】课程作业，笔者将学习ML4T一书，并在中国市场中应用机器学习算法进行分析。其中，笔者在这里主要选择的是第13章无监督学习的内容。在本书的源代码中，本章内容共为4个部分，共17篇代码，将努力复现这些代码。本文，先大致讲述一下本章的思路。当数据集仅包含特征却没有结果时，或者说我们想要为数据划分新的标签时，无监督学习就派上大用场了。首先在无监督学习中，降维和聚类是无监督学习的主要任务：降维将现有特征转换为一个新的、更小的集合，同时最大限度地减少信息丢失。聚类算法识别.

2021-07-13 21:10:35 241

原创第（二）篇：维度诅咒直观显示

维度诅咒前言：这一篇是第一部分线性降维的第一章，将说明在计算中高维数据如何是一个大难题，这就是我们说的维度诅咒。数据集维数的增加意味着在表示相应欧几里得空间中的每个观察的特征向量中有更多条目。我们使用欧几里得距离（也称为 L2 范数）测量向量空间中的距离，我们将其应用于线性回归系数的向量以训练正则化岭回归模型。两个具有笛卡尔坐标 p = (p1, p2, …, pn) 和 q = (q1, q2, …, qn) 的 n 维向量之间的欧几里得距离使用毕达哥拉斯开发的熟悉公式计算：因此，每个新维度都

2021-07-13 20:41:07 237

原创读书笔记（七）数据挖掘的更多应用

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第七篇，在这里对这本书做一个最后的总结。第七章文本挖掘从一个由多篇普通文档中挖掘出隐含或者非平凡信息的技术。一、文本表示将文本用一数据进行预处理，表示成相对简单的形式二、话题挖掘通过话题挖掘，知道文档集讨论了哪些话题，以多少的比例被提及非负矩阵分解概率潜在语义分析三、多文档自动文摘给定一个文档集，生成一段简短的文档来概括大意，长句重写为短句目标函数选择：句子重要性评价四、情感分析和摘要在一些评论中往往隐藏着用户真正的购买意向.

2021-07-13 19:52:25 169

原创读书笔记（六）智能问答系统

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第六篇，是关乎第六章智能问答系统的读书笔记。智能问答系统在我们的生活中很常见，比如智能音箱等。一、发展历史智能技术诞生于20c50s-60s。20c90s，检索式问答时代。搜索引擎等之类的。21c后，智能聊天机器人发展。二、句法分析1、中文分词技术1987年第一个实现中文分词的系统CDWS，主要算法有以下几种：词典法基于一定策略将待切分的字符串与词典中词条进行匹配，从而实现对字符串的切分。匹配原则：逐词匹配、最大匹配、最小匹.

2021-07-13 19:37:46 574

原创读书笔记（五）推荐系统

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第五篇，是关于书中第五章推荐系统的读书笔记。推荐系统就是我们常说的视频网站的一些推荐系统，主要使用了关联分析。一、个性化推荐系统概述区别于信息检索系统，推荐系统作为一种信息过滤的手段，是公认的解决信息超载的有效途径。可以分为4个部分信息采集和预处理系统建模推荐技术（最核心的部分）用户使用界面推荐系统应用最广泛的领域是电子商务领域，其实也应用于其他领域，新闻发布平台、电影、图书、视频、人才、婚恋交友等平台二、推荐技术最核心的任务就.

2021-07-13 19:22:57 150

原创读书笔记（四）大数据与计算可持续性研究

前言：本篇是【读书笔记|大数据时代的数据挖掘】系列第四篇，是根据书本第四章内容的读书笔记。目录一、大数据与可持续发展二、计算可持续性计算可持续性数据及其特征大数据环境下计算可持续性研究现状三、研究案例1、基于数据驱动的气象分析2、基于数据驱动的建筑能耗分析总结一、大数据与可持续发展背景：1、可持续发展2、大数据时代可持续发展面临的机遇和挑战人们可以利用这些技术精确把握生态环境的变化，并且做出应对策略；目前众多的可持续相关领域已经积累了大量的数据，但是信息爆炸不等于知识爆炸；需要设计新的.

2021-07-13 19:03:45 236

原创读书笔记（三）工作票数据挖掘

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第三篇，是关乎第三章工作票数据挖掘的读书笔记。一、工作票简介工作票是工单，是指一种用于记录、处理、跟踪特定时间完成情况的数据载体。比如：电力工作票被用于记录对电力故障的描述，对故障解决过程的描述等信息；移动通信领域的工作票被用于记录客户对业务相关问题的描述，对解决相关问题的描述。工作票挖掘是指能够从历史的工作票数据中自动地、高校地抽取有价值的知识的一种方法。二、工作票产生机制和亟待解决的问题云计算技术的飞速发展，使得大型复杂的计算系统日.

2021-07-13 18:46:58 206

原创读书笔记（二）系统日志和事件的挖掘

前言：本篇文章是【读书笔记|大数据时代的数据挖掘】系列的第二篇，是根据此书的第二章所写的读书笔记。一、数据驱动的网络运维数据的价值在大数据时代得到了更为直观的体现，很多企业由业务驱动转向了数据驱动，对数据进行更有效的存储和管理是实现大数据分析的基础。四个阶段1、网络运维1.0阶段：简单的数据处理日志是指带时间戳的基于时间序列的数据。此时产生的数据量不多，是MB or GB级别的。数据库的使用即可解决问题2、网络运维2.0阶段：分布式大数据处理框架数据级别达到TB、PB.

2021-07-13 18:17:57 485

原创读书笔记（一）数据挖掘简要介绍

前言：此文是【读书笔记|大数据时代的数据挖掘】系列的第一篇，是笔者关于《大数据时代的数据挖掘》一书的读书笔记，每一章会写一篇笔记，此文是关于第一章内容的笔记。目录：目录一、大数据时代的数据挖掘1、大数据的特点4V+4V一、大数据时代的数据挖掘数据的产生和搜集是基础，数据挖掘泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息的一个工程化和系统化的过程。1、大数据的特点4V+4V从数据的变现形式海量volume 多样variety 高速velocity 价值value

2021-07-13 11:37:59 461

原创关于永久添加python默认路径的方法

import osos.getcwd() #查看当前工作路径os.chdir('d:\\code') #更改当前路径import syssys.path #查看所有工作路径sys.path.append('d:\\code') #添加工作路径

2021-06-20 10:43:54 1721

原创 choice数据库的使用（二）：时间序列数据相关性分析（附代码）

在使用choice数据库时，常常会做一些重复性的操作，比如我会经常对标的基金的行业相关性进行计算，所以把这些操作封装了几个函数。由于我常使用申万行业指数，所以函数就命名ShenWan了。具体代码如下所示：shenwan_code="shenwan code"def ShenWan(shenwan_code,start_date="2021-04-01",end_date="2021-06-15"): shenwan=c.csd(shenwan_code,"CLOSE",start

2021-06-15 20:50:10 1888

原创 tensorflow、tensorlayer已下载但是无法import的解决办法

https://blog.csdn.net/bolo8956/article/details/80679516?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlo.

2021-06-15 10:59:11 583 3

weixin_49927325的博客