- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Pytorch 数据集太大，内存不够怎么办？——幻方量化优雅的解决方法
Tensorflow有着专门的数据读取模块tfrecord，可以直接从硬盘读取数据，而不受内存限制，但Pytorch一直没有一个专有的、高效的数据读取方法。
2023-12-01 16:02:01
1960
原创 深度学习调参手册（三）：优化训练时间
训练时间与两种类型的工作负载有关：一种是与计算有关的（如训练的epoch轮数、样本集的大小、学习率的设置等），另一种是与计算无关的（如GPU等计算资源可使用的时间、研究员工作时间等）
2023-09-15 17:28:17
645
原创 深度学习调参手册（二）：如何科学地设计深度学习实验
指标超参数是指用于评估参数对模型效果的参数调整超参数是值那些需要优化的参数，以便公平地比较指标超参数的不同值。这与统计学中的调整参数概念类似。固定超参数在本轮实验中不变。这些超参数的值在比较指标超参数时不需要（或我们不希望它们）改变。通过为一组实验固定某些超参数，我们必须接受从实验中得出的结论可能对固定超参数的其他设置无效。换句话说，固定的超参数为我们从实验中得出的任何结论创造了限制条件。例如，如果我们的目标是 “确定具有更多隐藏层的模型是否会减少验证误差”，那么隐藏层的数量就是一个指标超参数。
2023-09-12 16:33:10
412
原创 深度学习调参手册（一）：项目初始化与batchsize
深度学习的调参，是一个说重要也不重要，说不重要却又很重要的事。在深度学习相关教科书中，大多倾向于回避实验指导，着重讲解理论、概念等基本原则；在公开发表的深度学习论文实验中，大多跳过了实验繁杂的调参过程，仅呈现出一个干净的结果；而业界的深度学习工程师也很少有时间或意愿，向外界讲述他们的调参过程。对于大多数初入深度学习领域的同学可能需要花费大量的时间重复在毫无理论依据的调参过程中。即使使用了与领域内专家表面上类似的模型或方法，但取得的结果间却可能也存在着巨大的差距。
2023-09-12 15:23:39
323
原创 PyQt5 教科书级完整教程（一）安装与入门
本篇文章为PyQt5的教科书级完整教程系列的第一章，讲解基于Pycharm的安装与入门，也是我学习PyQt5过程中的记录笔记。后续将陆续发布其余章节教程，请持续关注~~
2022-10-10 16:38:58
12315
7
原创 多元时间序列预测之（四）基于实例和图的多元时间序列预测框架（IGMTF）
文章目录本文作为系列第四讲，介绍微软亚洲研究院Xu等人于2021年提出的IGMTF模型。该模型的pytorch代码依然继承与前文的MTGNN，因此本文将其作为一个系列来介绍。但是，本文虽然基于图结构，但和MTGNN中典型的图结构并不相同，下面将详细介绍。论文：Instance-wise Graph-based Framework for Multivariate Time Series Forecasting 基于实例和图的多元时间序列预测框架（注：有的地方直接翻译为基于实例图的多元时间序列预测框架
2022-04-25 13:00:31
5222
原创 Qlib教程——基于源码（一）背景与项目总览
Qlib背景介绍部分不多说，最近发现Qlib的框架思路与我自己打算做的投研平台出乎意料的完全相同，网上Qlib的教程大多比较浅显，要么介绍如何安装、要么只介绍如何直接调用api下载数据。如何说实话直接介绍该框架的api如何使用，是小白看不懂也用不会、大佬又嫌弃的鸡肋行为。如果是出于拿来主义，一般情况下的学习方法可以直接阅读说明文档：https://qlib.readthedocs.io/en/latest/index.html 跟着慢慢copy代码一步一步运行即可。而对于魔改党，当然是希望可以基于前.
2022-04-21 18:04:05
5183
2
原创 多元时间序列预测之（三）基于图神经网络的Graph-Wavenet与MTGNN
文章目录1.关于深度残差学习2.Wavenet与TCN因果卷积与膨胀因果卷积残差连接与跳过连接3.Graph-Wavenet 模型图卷积层（GCN）4.MTGNN 模型图学习层图卷积模块时间卷积模块本文作为系列第三讲，将正式介绍基于图神经网络的多元时间预测方法。本文所讲解的Graph-Wavenet与MTGNN是Wu等人先后于2019年和2020年提出的模型，可以认为前者是后者的前身，我认为MTGNN的提出正式开创了基于图网络进行多元时间序列预测的先河。相关论文（按知识点先后顺序排列）：Dee
2022-04-17 03:17:00
8514
2
原创 多元时间序列预测之（二）LSTNet模型
文章目录LATNet论文解读1. 问题定义2. 模型解读LATNet论文解读1. 问题定义2. 模型解读LSTNet使用卷积神经网络(CNN)来提取变量之间的短期局部关系依赖模式，使用递归神经网络(RNN)发现时间序列趋势的长期模式。...
2022-04-13 19:04:43
7912
3
原创 多元时间序列预测之（一）DA-RNN模型
文章目录前言DA-RNN论文解读1. 问题定义2. 模型解读2.1 输入注意力机制2.2 编码器2.3 时间注意力层2.4 解码器DA-RNN代码解读1. 数据加载部分2. 模型部分前言多元时间序列预测，又称多变量时间预测，指对一个系统中存在的多个时间依赖变量的研究。通常，我们假设系统中的这些变量存在相互依赖关系，即每个变量的未来值不仅于其历史值有关，还与其他变量的历史值有关。多元时间序列存在于日常生活的方方面面，包括股票市场中不同股票的价格序列、不同道路的拥堵程度、不同城市的温度和降雨。从多变量时间
2022-04-12 16:55:00
8436
1
原创 深度学习学习笔记
为什么使用线性函数+sigmoid激活函数可以拟合所有的函数模型任何函数都可以用分段函数拟合每个分段函数又都可以用sigmoid函数近似这种思考角度，很巧妙。关于神经网络的参数更新与反向传播比较容易理解关于提升模型训练效果先看损失函数的值：若大，则提升模型复杂度，或改进模型参数优化方法；若小，则看测试集损失函数的值，若大，则是overfitting或者是mismatch（训练集分布与预测集不同）关于局部极小值与鞍点理解即可，其实一般遇到的并不是这种问题关于训练时的 小batchsiz
2022-03-06 14:46:08
1040
原创 本地简易股票量化回测框架
本科时代自己撸的一套简易股票量化回测框架，供新手入门学习研究。支持不同标的、多参数的批量回测，用于快速开发迭代交易策略。数据接口使用的是聚宽量化平台的API。import numpy as npimport datetimeimport jqdataimport pandas as pdimport matplotlib.pyplot as pltimport json #字符转换import matplotlib.ticker as mtkimport mathim
2022-02-03 22:46:29
2173
原创 （日常）Dell R740 XD 服务器安装GPU显卡记录
安装官方说法服务器最多装两张显卡，但安装人员告诉说加上显卡扩展槽，最多可支持三张显卡。话不多说，直接上图：可在红线处，再加装两张显卡，注意服务器一般只支持原版、涡轮版显卡。现在已经上了两张，经过一番倒腾，运行正常，预计年后再加一张。需要注意的是，多张显卡也需要更大功率的电源，而超过1500W的电源，一般会使用16A的大插头。...
2022-02-02 23:50:11
9967
4
原创 tensorflow2.x（二）多进程并行模型
在上一篇文章中，我们解决了tensorflow在大样本训练中内存不足的问题，但是可能无法最大化利用GPU资源，在这篇文章中，我们继续挖掘如何充分利用GPU资源，将显卡的内存、算力全部拉满。为了进一步挖掘显卡性能，进一步提升资源利用率，进一步解放双手，在这篇文章中，我们试图使用多进程，分配不同的显卡资源给多个模型，同时并行训练多个模型。（虽然tf官方也有将显卡并行，使用多张显卡资源来提升计算效率的解决方案，但是仍然需要多源模型代码进行相关改变，且在笔者当下的尝试中，这种并行在生成环境中并不稳定）因此，这
2022-02-02 23:36:29
3501
2
原创 每日股市大盘自动复盘（基于聚宽量化投资平台）
直接上代码，代码里需要用到聚宽平台的jqdata，可在聚宽研究环境中运行。import numpy as npimport datetimeimport jqdatafrom jqdata import *import pandas as pdimport matplotlib.pyplot as pltimport json #字符转换matplotlib.rcParams['axes.unicode_minus']=False #图像中负号显示不正常import
2022-01-31 00:36:05
1232
原创 tensorflow2.x（三）用mlflow平台管理参数与模型
前两篇文章详细讲解了如何并行训练多个tf模型，要知道对于深度学习模型，批量训练不同模型结构、不同参数都是家常便饭。如果你还是手动整理参数结果、手动整理模型，或者充其量使用tensorboard来观察训练曲线，那就太low啦！这里，我们介绍如何使用Mlflow平台来管理tensorflow模型。
2022-01-31 00:17:54
2544
原创 tensorflow2.x（一） 显存不够或内存不够要怎么办？
很多教程说用更小的样本数、更少的batchsize等等。。。其实都是治标不治本。题主首先遇到的问题是内存不够，
2021-12-24 15:12:27
5974
原创 用Python的print画彩色圣诞树，超级好看
突然发现最近圣诞节，有个用代码画圣诞树的热搜，有些用turtle画的，感觉比较麻烦。其他的print的又有些丑。。。所以闲来没事就想自己动手画一个。话不多说，直接上图。图中的雪花、圣诞树上的彩蛋都是自动随机生成，这样也显得自然点。有兴趣的同学可以用某种分布来画。谁说工科生没有艺术细胞？？？：）代码：import randomheight = 15for i in range(height): if i == 0: print((' ' * (height - 1
2021-12-21 16:50:01
1856
原创 Pytorch 源码学习笔记梳理
一、PyTorch的主要模块1. torch 模块torch模块包含一些激活函数、Pytorch张量的运算操作、及特定形状张量的生成。2. torch.Tensor 模块torch.Tensor模块定义了torch中张量的类型。同时，张量的类中也包含着一系列的方法，可以操作当前的张量，从而返回新的张量或更改当前的张量。torch.Storage 模块则负责torch.Tensor底层的数据存储，为张量分配连续的一维内存地址。这里需要提到一点，如果张量的某个类方法会返回张量，安装PyTorch中的
2021-12-10 12:56:27
2137
原创 关于ufw、firewalld及iptables之间的关系整理
看到有篇相关文章介绍如下，指出三者是在不同的linux系统版本中的防火墙，但这种说法并不完全，会让人误解为他们是互不影响的独立关系。UFW、firewall、iptables防火墙配置 常见的linux系统防火墙有：UFW、firewall、iptables，其中，UFW是Debian系列的默认防火墙，firewall 是红帽系列7及以上的防火墙（如CentOS7.x），iptables是红帽系列6及以下（如CentOS6.x）的防火墙。事实上，他们很可能同时安装在同一个系统上，并且相互作用影响！
2021-11-24 15:20:04
13114
2
原创 PYTHON 多进程multiprocessing、多线程Threading、多协程asyncio学习笔记（未完结）
文章目录一、名词解释二、多进程 multiprocessing三、多线程 Threading四、多协程 asyncio参考一、名词解释随着python使用的深入，任务量越来越大，普通的notebook或python程序运行需要越来越多的时间。此时Python 并发编程也逐渐重要起来。现有三种主流Python并发编程方式：多进程 multiprocessing多线程 Threading多协程 asyncio有些同学可能分不太清线程进程，这里提供一种记忆方式：首先，很简单，一根线就是一个线程
2021-11-10 19:28:27
678
原创 boosting族算法手册，从Boosting到XGBoost, LightGBM, Catboost
文章目录一、从决策树和集成学习讲起1. 分类与回归树（classification and regression tree，CART）1.1 CART回归基本原理二、提升算法（Boosting）1. AdaBoosting三. 梯度提升算法（Gradient Boosting）1. GBDT回归算法2. GBDT二分类算法3. GBDT多分类算法四、XGBoost1. XGBoost的原理推导1.1 从目标函数开始1.2 生成一棵树1.3 最优切分点划分1.4 稀疏感知算法2. XGBoost的工程实现
2021-11-10 19:26:14
979
原创 创建虚拟环境，并在Notebook中使用
创建虚拟环境：conda create --name 虚拟环境名查看当前全部虚拟环境及其地址：conda env list进入虚拟环境：source activate 虚拟环境名安装notebook支持插件：conda install ipykernel虚拟环境配置notebook：python -m ipykernel install --user --name 虚拟环境名 --display-name "notebook虚拟环境名"至此，成功~删除虚拟环境：conda remove -n .
2021-11-05 18:30:54
498
原创 GPU 3080/3090 安装最新版tensorflow2.6 踩坑记录
GPU 3070/3080/3090 安装最新版tensorflow2.6 踩坑记录首先确定系统nvidia-smi没问题这里是cuda11.2 根据我的踩坑历程来说，保证驱动程序是最新的就可以。一般11.x系列的cudatoolkit都可以支持，不必要严格对应。下面开始安装：先从虚拟环境开始，这里由于我模型的需要，需要保证python版本为3.8，否则numpy版本和tensorflow可能会出现不兼容的报错。conda create --name py38 python=3.8之间pip
2021-11-05 18:17:06
2271
基于控制回撤的投资组合优化实践.html
2021-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人