- 博客(65)
- 收藏
- 关注
RSS订阅原创 《计算机工程与应用》最新投稿经验2024年5月
研二下第一次投稿，深度学习长时间序列预测方向，选择了《计算机工程与应用》期刊，是CSCD扩展刊+北大核心，且在24年被EI收录等等。4.10交稿到最后5.31收到录用通知，历时不到2个月，总的来说编辑部效率确实高。
2024-06-01 22:08:35
3027
78
原创 论文解读20——OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling
针对时间序列在线流数据的预测问题，提出了一种在线集成网络OneNet，对两个分别侧重于跨时间维度依赖关系和跨变量维度依赖关系的模型，使用基于强化学习的方法引入传统的在线凸规划中，动态调整权重进行线性组合，同时利用两种模型的优势解决数据随时间变化出现概念漂移的问题，提高预测精度。
2024-04-20 15:27:46
910
原创 论文解读19——（PatchTST）A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进：1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型
2024-01-24 23:37:33
1760
原创 论文解读18——Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series
现有的Transformer类模型变体主要都是侧重于捕捉时间序列的跨时间依赖性，而忽略了变量之间的跨维度依赖性，基于此，该文针对多变量时间序列预测提出了Crossformer，这是一个基于Transformer的模型，考虑了跨维度依赖性。主要设计了三大结构：维度分段嵌入（DSW）：负责保留时间和维度信息。每个维度的序列被分割成段，嵌入到特征向量中。两阶段注意力（TSA）：有效捕捉跨时间和跨维度依赖性。分层encoder-decoder（HED）：每一层对应一个尺度
2023-10-06 22:25:45
1724
2
原创 论文解读17——Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting
提出了一个通用的多尺度框架Scaleformer，可应用于多种时间序列预测SOTA的Transformer模型（如FEDformer、Autoformer等）。通过在多尺度上迭代地细化时间序列以更好地捕捉时间依赖性，并引入跨尺度标准化缓解因中间不同尺度分布造成的错误预测、引入自适应损失缓解因迭代造成的误差累积，提高模型性能。
2023-08-21 17:08:33
1307
4
原创 论文解读16——Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
在以往的时间序列预测中，对于非平稳序列，都是直接进行平稳化来减弱原始序列的非平稳性，从而更好地进行下一步预测。而这篇针对非平稳时间序列预测提出，直接的平稳化操作会使原始序列失去原始序列的非平稳特性，阻碍深度模型的预测能力，文章中称为“过平稳化”。故该文提出了一个通用框架：Series Stationarization序列平稳化来减弱原始序列的非平稳性、De-stationary Attention去平稳注意力避免过平稳化，使模型能捕捉时间依赖，提高预测性能
2023-07-26 21:57:25
822
原创 Python获取股票数据——以沪深300成分股为例
需求是下载比如从2020-01-01到2022-12-31区间的沪深300成分股每支股票的日K线数据，没错这是个面板数据，原本以为直接通过Python接口可以直接下载到，因为之前找的上证综指啥的用R的pedquant都是直接获取的（看来因为是单支）。捣鼓了半天，还是我想的简单了……试过Akshare、Tushare、Baostock以及聚宽量化平台下载，下面总结一下下载心得 o_0。
2023-07-25 22:13:33
5198
原创 论文解读15——LightGBM: A Highly Efficient Gradient Boosting Decision Tree
提出了一个轻量级的梯度提升算法**LightGBM**，是GBDT算法的另一个实现，针对XGBoost的局限，在保持精确度的情况下对内存和效率上进行了优化。采用直方图算法Histogram解决分裂点数过多的问题。基于梯度的单边采样算法GOSS解决样本量过多的问题。采用互斥特征捆绑算法EFB解决特征过多的问题。
2023-03-10 21:37:12
548
1
原创 论文解读14——XGBoost：A Scalable Tree Boosting System
在原有GBDT的基础上提出了XGBoost，一种高效的极端梯度提升树模型，其属于boosting算法的一种，利用加法模型和前向分布算法将多个弱学习器集成为强学习器实现优化。
2023-03-01 22:53:29
394
原创 论文解读13——TransBoost: A Boosting Tree KernelTransferLearningAlgorithm for ImprovingFinancial Inclusion
为了解决金融产品中新用户数据及标签获取困难等问题，发展普惠金融，文中提出了新的迁移学习算法TransBoost，对传统迁移学习方法核均值匹配KMM模型进行了推广，将提升树作为内核来结合树模型和内核方法的优点，能够处理高维特征和稀疏数据，提高了金融包容性。
2023-01-29 22:01:49
454
原创 论文解读12——NGBoost: Natural Gradient Boosting for Probabilistic Prediction
由吴恩达团队提出的NGBoost是一种通过梯度提升进行概率预测的算法，与经典的回归模型返回一个点估计结果不同，概率回归模型返回全概率分布，将条件分布的参数视为多参数提升算法的目标，将梯度提升推广到概率回归，允许对不确定性进行预测估计。
2023-01-17 21:53:45
1022
原创 论文解读11——FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
提出了一种基于树集成的反事实解释方法，将寻找反事实的问题转化为基于梯度的优化问题，并扩展了以前只能用于可微分模型的技术，提供了用于优化的基于树模型的可微近似框架，产生有效的反事实解释。
2023-01-15 21:13:08
251
原创 论文解读10——Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
这篇是2021年AAAI的best paper，主要提出了Informer模型来解决Transformer中无法用于长时间序列预测的问题，提高了长时间序列预测问题的能力。
2022-12-18 22:39:38
1035
原创 论文解读9——TabNet: Attentive Interpretable Tabular Learning
跟神经网络相比的话，决策树这类的树模型有以下几个特点：训练速度快、可解释性强、比较适合应用于表格数据。而神经网络有着较好的端到端学习的表征学习能力，可以减轻对特征工程的需求。所以这篇文章的想法就是让神经网络去模拟决策树的行为，从而获得这两者的能力。
2022-10-09 22:41:04
1708
原创 论文解读7——Graph Attention Networks（GAT）
提出了图注意力网络GAT，通过引入注意力机制计算出每个节点和与之相关联节点间的重要性系数，从而解决GCN中对每个节点同等重要的问题。
2022-07-13 21:56:47
1340
原创 论文解读8——Attention Is All You Need
提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题，跟以往不同，没有用到CNN和RNN的结构，将 encoder-decoder 中的循环层替换成了multi-head attention机制，且能够实现并行化操作提高模型效率。...
2022-07-13 21:53:09
735
原创 论文解读6——Semi-Supervised Classification With Graph Convolutional Networks（GCN）
提出了一种基于图结构的半监督学习方法GCN，解决CNN无法处理不规则数据的问题，通过谱图卷积的局部一阶近似将卷积操作应用到图结构等不规则的数据中进行半监督分类。
2022-07-12 23:25:41
648
原创 Python安装Talib量化库踩过的坑（windows版）
这里提供了一个网站可以下载对应的Talib包https://www.lfd.uci.edu/~gohlke/pythonlibs/通过ctrl+F搜索到的Talib包长这样（比如我下载的是python3.7、win64版）一定要和自己的版本对应上，不然安装会报错
2022-06-13 21:53:49
2288
4
原创 论文解读5——Deep Residual Shrinkage Networks for Fault Diagnosis
为了提高对高噪声振动信号的特征学习能力，提高故障诊断精度，文献提出了一种新的深度学习方法——深度残差收缩网络。在深层结构中插入软阈值作为非线性变换层，以消除不重要的特征。此外，考虑到阈值的合理取值通常具有挑战性，开发的深度残差收缩网络集成了一些专门的神经网络作为可训练模块来自动确定阈值，从而不需要信号处理方面的专业知识。...
2022-06-09 11:36:01
612
原创 论文解读4——Identity Mappings in Deep Residual Networks（Resnet下篇）
文章分析了残差网络背后的的传播机制，表明了前向传播和反向传播的信号可以直接从一个模块传播到另一个模块，并且用实验证明了跳跃连接中恒等映射的重要性，也由此提出了一个新的残差单元来提高模型泛化能力。...
2022-06-07 22:39:25
324
原创 论文解读3——Deep Residual Learning for Image Recognition（Resnet上篇）
这篇文献中提出的残差网络Resnet是2015年微软实验室的何凯明团队在ImageNet计算机视觉挑战赛中斩获第一名的网络，且在同年的多个图像分类、目标检测竞赛中均获得第一名。主要想解决的是这么一个问题：在神经网络层数越来越深的时候，它的准确率在达到饱和后会出现下降这样一种退化的情况。...
2022-06-04 18:35:54
403
原创 论文解读2——On The Variance Of The Adaptive Learning Rate And Beyond
Adam等自适应学习率算法在训练早期因样本数量不足会有较大的方差，文献中对自适应学习率的方差进行了修正，并提出了Adam的新变体RAdam，实验结果证明了该方法的有效性。
2022-06-02 17:57:50
439
原创 论文解读1——Adam: A Method For Stochastic Optimization
目录1、优化算法到底是个啥2、几种经典的优化算法2.1 梯度下降（GD）2.1.1 批量梯度下降（BGD）2.1.2 随机梯度下降（SGD）2.1.3 小批量梯度下降（SBGD）2.2 动量（momentum）2.3 Nesterov动量（NAG）2.4 AdaGrad2.5 RMSprop3、文章贡献4、Adam优点5、Adam算法6、Adam更新规则7、初始化偏差修正8、收敛性分析9、实验分析10、扩展：Adamax11、总结第一次阅读英文文献，可能解读的不太到位。前些天看了一位作者写的“学生为什么
2022-05-22 21:52:34
3182
原创 Python数据分析—Pandas数据规整
数据规整一、索引二、分层索引三、数据合并1、merge方法2、join方法3、concat方法四、数据分组与聚合一、索引# 查看索引df.index# 指定索引，但个数必须保持一致df.index=[]# 重置索引,个数无需一致，重置索引不同则用NAN填充，相当于映射的关系df.reindex([])# 指定某一列作为行索引df.set_index("列名")# 指定多列为行索引df.set_index(["",""])# 取索引的唯一值df.index.unique()二、分
2021-02-05 19:13:31
263
原创 Python数据分析—Pandas作业四
Day4小练习练习1练习2导入需要的库import numpy as npimport pandas as pd小练习xin=pd.read_csv(r'starbucks_store_worldwide.csv',usecols=['Brand','Country','City'])# 首先选取品牌为星巴克的数据xin=xin[xin['Brand'].isin(['Starbucks'])]del xin['Brand']需求1：分析星巴克在中国分布多还是美国分布多# 第一种可以
2021-02-03 21:37:51
638
5
原创 Python数据分析—Pandas数据清洗
数据清洗一、缺失值1、查看缺失值2、过滤缺失值3、填充缺失值二、异常值三、重复值1、查看重复值2、删除重复值四、离散化数据清洗实质上也是数据质量分析，检查并处理原数据中是否存在不符合要求的数据。常见的有缺失值、异常值、重复数据一、缺失值1、查看缺失值# 返回是否是缺失值的布尔值df.isna()# 返回是否是缺失值的布尔值df.isnull()# 返回值是isnull的反集df.notnull()# 或者更直观的df.isnull().sum()而在数据中赋值为None也被当作NA
2021-02-03 21:32:44
251
原创 Python数据分析—Pandas作业三
Day3练习1练习2导入需要的库import numpy as npimport pandas as pd练习1读取北向.csv 指定 trade_date 为 行索引bei=pd.read_csv(r'北向.csv',index_col=1)查看数据的基本信息 有无缺失值 对其缺失值进行处理bei.info()bei.isnull().sum()index 0ggt_ss 34ggt_sz 34hgt
2021-01-29 21:13:53
303
原创 Python数据分析—Pandas作业二
Day2练习一练习二导入需要的库import numpy as npimport pandas as pd练习一读取 catNames2.csv 文件cat=pd.read_csv(r'catNames2.csv')找到所有的使用次数超过800的猫的名字cat[cat['Count_AnimalName']>800]获取用次数最高的名字# 降序排列 第一个即为最高cat.sort_values(by='Count_AnimalName',ascending=False)
2021-01-27 18:07:48
275
4
原创 Python数据分析—Pandas中的DataFrame笔记全
DataFrame操作一、DataFrame介绍一、DataFrame介绍DataFrame是二维数组，表示的是矩阵的数据表,它包含已排序的列集合，每一列可以是不同的值类型(数值,字符串,布尔值)。
2021-01-27 17:03:44
1834
原创 Python数据分析—Pandas作业一
Day1练习一练习二练习三导入所需要的库import numpy as npimport pandas as pd练习一通过 Pandas 创建 学生成绩表的 excel 文件stu_names = ["胡歌","林更新","金世佳","丑娟"]courses = ['语文', '数学', '英语', 'Python', '体育']data = np.array([[87., 74., 98., 84., np.nan],[79., 69., 61., 99., np.nan],[84.,
2021-01-25 17:49:34
372
原创 Python数据分析—Pandas中的Series
Series操作一、Series介绍二、Series数组创建1、根据列表创建2、根据字典创建三、数据类型四、设置数组名字1、数组名字2、索引名字五、预览数据六、索引与值七、索引与切片八、Series运算一、Series介绍Series是一维数组型对象，包含了一个值序列，并且包含了数据标签，称为索引。二、Series数组创建pd.Series(data=None,index=None,dtype=None,name=None,copy=False)参数作用data创建数组的数据
2021-01-22 22:36:01
348
原创 Python数据分析—numpy操作本地数据及合并多个表格
numpy操作本地数据及合并多个表格一、写入本地数据二、读取本地数据三、合并两个表格一、写入本地数据np.savetxt(fname)参数意思fname文件路径dtype数据类型delimiter分隔符fmt写入文件的格式，例如：%d，%.2f，%.18econverters对数据预处理。{0:func}第0列进行func函数预处理header指定为表头scores = np.random.randint(0,100,size=(40
2021-01-18 18:09:41
1293
1
原创 Python数据分析—numpy数组运算练习
numpy作业作业1练习1代码练习2代码练习3代码作业2作业1导入相关的库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 中文plt.rcParams['axes.unicode_minus'] = False # 负号练习1代码方法一canyin=pd.read_csv(r'D:\餐饮.csv'
2021-01-17 18:16:00
530
2
原创 Python爬虫27-移动端数据抓取一
移动端数据抓取一一、adb使用1.1 查看连接的移动设备1.2 安装app应用1.3 查看应用包名1.4 卸载app应用二、UIAutomator2快速入门2.1 初始化移动设备2.2 u2控制移动设备2.3 u2启动手机app三、UIAutomator2基本操作3.1 启动服务3.2 停止服务3.3 运行状态3.4 查看设备的分辨率3.5 查看获取到的Ip地址3.6 通过u2安装app3.7 启动app3.8 获取前台运行的app的信息3.9 停止app3.10 停止所有app3.11 清除app缓存3.
2020-10-09 22:31:43
1332
原创 Python爬虫25-MongoDB练习题
MongoDB练习题测试数据1、查询年龄大于25小于27的name，age2、查询出不是美国的name3、查询国籍是中国或者美国的学生信息4、查询语文成绩大于85或者英语成绩大于90的学生信息5、查询出名字中存在"li"的学生信息6、查询喜欢看MONGODB和PHP的学生7、查询第二本书是JAVA的学生信息8、查询喜欢的书数量是4本的学生9、查询出persons中一共有多少国家分别是什么测试数据var persons = [{ name:"jim", age:25, email:"75431457
2020-10-09 22:30:30
393
原创 Python爬虫23-Scrapy爬取当当网图书信息
Scrapy爬取当当网图书信息1、创建一个scrapy项目scrapy startproject dangdang2、生成一个爬虫文件scrapy genspider dd dangdang.com3、设置settings添加log日志等级添加headers请求头4、添加一个文件运行爬虫from scrapy import cmdlinecmdline.execute(['scrapy','crawl','dd'])5、开始编写...
2020-10-09 22:29:18
314
原创 Python爬虫22-Python操作Redis
Python操作Redis一、设置值二、取值一、设置值运行完毕后在redis里面检验二、取值类型默认为字节将 decode_responses=False 修改类型改为字符串
2020-10-09 22:28:28
61
原创 Python爬虫21-Redis数据类型
Redis操作一、Redis介绍二、Redis的安装及启动三、Redis常用五大数据类型3.1 redis-string3.1.1 set / mset3.1.2 get / mget3.1.3 append3.1.4 del3.1.5 strlen3.1.6 incr / decr3.1.7 incrby / decrby3.1.8 getrange / setrange3.2 redis-list3.2.1 lpush / rpush / lrange3.2.2 lpop / rpop3.2.3 lin
2020-10-09 22:28:08
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人