- 博客(38)
- 收藏
- 关注
RSS订阅原创 2023.7.16 第五十九次周报
datasetsignal本周学习了一篇用lstm来解决和时空预测有关的问题。本文提出了一种基于双向LSTM的深度学习框架，以扩展时间序列信号的学习。由此产生的模型提供了一个可扩展的预测系统，该系统可以自然地适应时空模式。模型训练的成本降低了一个数量级，因为我们为每个数据集而不是每个信号训练了一个模型。
2023-07-16 22:06:47
405
原创 2023.2.19 第四十一次周报
本周学习了一篇文章，该文通过对RNN、LSTM、GRU和时间序列预测的研究，提出了一种新的门控单元。NGCU的提议主要用于时间序列数据预测。与传统RNN相比，NGCU大大缓解了长期数据依赖导致的梯度消失和爆炸问题。除此之外，在机器学习方面，学习了元胞自动机的相关内容。下周我们将继续学习机器学习的相关内容。除此之外，将深层次的研究时序问题。
2023-02-19 13:51:24
624
原创 2023.2.12 第四十次周报
本周学习了一篇文章，该文提出网络自注意力来衡量网络中节点之间的相似性。并提出了一种基于网络自注意力的新型RNN用于时间序列预测。在网络注意力中，通过随机游走过程获得节点的特征矩阵。然后，计算节点之间的相似性得分，并通过Softmax将其归一化为相似性分布。最后，通过加权求和计算网络注意力值。除此之外，在机器学习方面，学习了元胞自动机的相关内容。该文提出网络自注意力来衡量网络中节点之间的相似性。并提出了一种基于网络自注意力的新型RNN用于时间序列预测。在网络注意力中，通过随机游走过程获得节点的特征矩阵。
2023-02-12 16:38:04
334
原创 2023.2.5 第三十九次周报
本周学习了一篇文章，该文提出一种用于混沌时间序列预测的混合深度神经网络架构。使用的混合方法包括从输入中提取低级特征的时间卷积网络和循环神经网络层，例如长短期记忆和门控循环单元以捕获时间信息。除此之外，在机器学习方面，学习了一些支持向量机的相关内容。下周继续学习和讨论SVM的数学推导以及其他知识。
2023-02-05 18:42:14
313
原创 2023.1.8 第三十八次周报
本周学习了一篇文章，该文提出一种用于混沌时间序列预测的混合深度神经网络架构。使用的混合方法包括从输入中提取低级特征的时间卷积网络和循环神经网络层，例如长短期记忆和门控循环单元以捕获时间信息。除此之外，在深度学习方面，学习了一些优化算法的相关内容。蚁群算法（Ant Clony Optimization， ACO）是一种群智能算法，它是由一群无智能或有轻微智能的个体（Agent）通过相互协作而表现出智能行为，从而为求解复杂问题提供了一个新的可能性。
2023-01-08 19:40:55
476
原创 2023.1.1 第三十七次周报
本周学习了一篇文章，主要讲的是构建了两个基于注意力的递归神经网络用来做时间预测。在这项研究中，作者提出了两种用于长期和多变量时间序列预测的新型基于注意力的RNN。总的来说，作者构建的模型增强了空间相关性和时间关系的注意力机制，以更好地学习时空关系，从而在四个数据集和不同时间步长预测中优于最先进的方法。除此之外，在深度学习方面，学习了注意力机制的相关内容。“注意力机制”实际上就是想将人的感知方式、注意力的行为应用在机器上，让机器学会去感知数据中的重要和不重要的部分。
2023-01-01 17:48:15
362
原创 2022.12.25 第三十六次周报
本周学习了一篇使用GRU进行人类活动识别的基于初始注意力的文章。在这项研究中，它使用GRU和Inception模块以及注意力机制来识别复杂的人类活动。为了进一步细化从时间和空间数据中提取的特征，添加了 CBAM 块并将其合并到起始模块中。通过将全连接层替换为GAP层来减少模型参数，从而使模型更快地收敛，从而使模型更加高效。除此之外，在深度学习方面，学习了GRU的相关内容。下周我们继续学习注意力机制。
2022-12-25 20:43:48
642
1
原创 2022.12.11 第三十四次周报
本周学习了一篇结合LSTM来构建中国季节性干旱预测模型的文章。在这项研究中，评估了LSTM模型提取大气变量与气象干旱之间信息的能力和鲁棒性，并研究了预测技能的提高程度和干旱发生预测的有效性。除此之外，在深度学习方面，学习了LSTM的相关内容。long short term memory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。
2022-12-11 18:26:29
317
原创 2022.12.4 第三十三次周报
目录前言文献阅读：结合循环神经网络和图神经网络来预测下一个地方的类别背景提出想法本文主要贡献POI-RGNN 架构OGS-POI：对PoI进行分类 结论RNN预测sin函数pytorch之RNN参数解释问题1：input_size 是什么？问题2：hidden_size 是什么？ 问题3：num_layers是什么？问题4：hn（hidden）,output分别是什么？代码运行结果 总结This week studied an article that combines recurrent neural n
2022-12-04 19:01:21
355
原创 2022.11.27 第三十二次周报
本周学习了一篇基于神经网络预测PM2.5的文章。不同的神经网络基于不同的原理。本研究采用人工神经网络、卷积神经网络和循环神经网络的组合，大大提高了模型的预测能力。
2022-11-27 19:49:35
760
原创 2022.11.20 第三十一次周报
本周阅读了一篇基于区块链的一个安全智能模糊区块链框架的论文。该框架设计有区块链安全支持和模糊逻辑，以跟踪和追踪物联网设备交易，并在物联网网络中执行威胁检测。在深度学习上，学习了RNN模型，以及复现简单的代码。循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习。
2022-11-20 19:03:07
2061
原创 2022.11.13 第三十次周报
本周阅读了一篇基于区块链的一个可互操作的区块链平台的论文。用区块链代替云计算，用于确保智慧城市中的物联网数据完整性。在深度学习上，学习了VGG网络模型和ResNets模型，以及复现简单的代码。在CNN的学习中，掌握了简单的手写数字识别。对于CNN基础网络框架有了系统的认识。除此之外，对于CNN的变形模型，例如AlexNets，VGGNets，ResNets等展开研究。下周开始就进入RNN的系统学习。
2022-11-13 16:58:51
1792
原创 2022.11.6 第二十九次周报
Pytorch中的卷积操作在本周被解析。一篇关于区块链和工业5.0的文章被了解，一种新型的拟议联合网络自动化方案在本文中被讨论。除此之外，有关于2012的AlexNet结构框架在本周被学习。本地网络（GRU 神经网络）训练任务，在初始化的全局模型中使用本地输入数据。隐私保护网络自动化在算法 1中表述。下周对于VGGNet和ResNets这些经典模型进行学习。
2022-11-06 17:01:18
1527
原创 2022.10.30 第二十八次周报
一篇关于区块链和深度学习的文章在这周被学习。然而文章的内容比较多以至于没有被学习透彻，只有部分内容被了解。除此之外，CNN的变型模型在本周中被讲解。LeNet5，Google Nets等模型的背景和优缺点被剖析。本周学习了CNN的经典变型模型，下周讨论后Image Net时代的CNN模型。文献方面从这周开始就偏向于区块链和深度学习的融合应用。
2022-10-30 12:16:36
1462
原创 2022.10.23 第二十七次周报
CNN在本周被深度的解读了。CNN的各层结构，内容，特征，操作的都被剖析了。具体有感受野，局部相关，全值共享，张量扁平化等概念被熟知，等等。本周又针对具体的问题展开了分析，除此之外学习了CNN的各种知识包括channels,kernel size,gradient,padding等。针对于层与层之间参数（b,h,w,c）的转换可以看下面这个视频。【简单粗暴！3小时让你学会CNN卷积神经网络，理论详解与项目实战。
2022-10-23 15:19:42
1167
原创 2022.10.16 第二十六次周报
本周学习的内容主要围绕卷积神经网络（CNN）来展开。在文献中学习到CNN如何在提取的大量素材中消除作用比较小的。我们具体了解到CNN中各种层的作用和原理，比如卷积层，池化层，全连接层等等。本周我们主要是针对CNN的框架和每层的作用和结构展开学习。但是说白了这只是一个大致的框架的设计而已，里面的参数具体是多少则是需要训练的。那么神经网络到底需要训练什么呢？训练的就是那些卷积核（filter）。下周我们继续学习神经网络的训练与优化，具体的训练方法就是赫赫有名的BP算法---BackProp反向传播算法。
2022-10-15 20:21:14
959
原创 2022.10.9 第二十五次周报
本周主要方向还是继续学习区块链的相关知识，在代码部分有一些小小的了解。本周主要涉及基础神经网络和BTC-协议两个大的方面，除此之外阅读了一些文献来锻炼自己的能力。下周继续学习区块链的知识，代码方面下周主要是CNN手写数字识别。
2022-10-09 20:34:02
812
原创 2022.9.25 第二十四次周报
本周主要围绕区块链相关知识展开学习。文章结构内容包括文献阅读，工程，代码几部分构成。非点源污染是指在流域范围降雨的淋洗和冲刷作用下，污染物大面积的通过径流汇入受纳水体引起的水体污染。降雨径流是主要驱动因素来产生非点源污染，而下垫面是降雨转化为径流的介质基础。降雨径流产生的污染物变化是由雨量大小、土地利用类型、地形坡度及植被覆盖度等空间因素共同影响决定的。总的来说，本周的学习还是非常充实的。知识存储上基本了解了一些简单的比特币中涉及区块链的知识。
2022-09-25 17:24:30
1677
原创 2022.9.18第二十三次周报
从本周开始，我们学习PyTorch相关知识，提高代码编写能力。这周我们先来学习什么是张量，并且是如何运用在实际操作中的。本周我们学习了张量的基本概念和基本操作，通过这些内容我们初步入手了PyTorch的使用。下次的学习中，我们将了解数据集和数据加载器的有关知识。
2022-09-18 16:22:23
432
原创 2022.9.4 第二十二次周报（假期总结）
从四月开始到九月份，已经开始尝试周报学习五个月时间。慢慢的从生疏到得心应手，个人感觉在写作方面得到了小小的提升。这五个月期间主要学习了机器学习的相关知识，主要了解了各种各样的模型，例如CNN,RNN，sequence to sequence，自注意力机制等等。学习了台大李宏毅老师的机器学习网课，总共分为十五个章节：1-5：监督式学习 supervised learning6：生成对抗网络 generative adversarial network。
2022-09-05 11:25:03
875
原创 2022.8.28 第二十一次周报
本周我们深入了解注意力机制，从底层逻辑到数学推导，让我们一步步了解什么是注意力机制。这一周我们学习了注意力机制相关内容，从“是什么”到“做什么”再到“怎么做”，层层递进。通过本周的学习，让我们对Attention Mechanism有了更深入的了解。.........
2022-08-28 15:25:36
687
原创 2022.8.21 第二十次周报
本次周报主要介绍神经网络的一些基本概念，包括全神经网络概念，卷积神经网络的组成和优化方法的概念和分类。除此之外，介绍了CNN的手推过程，这也是非常重要的一个部分。虽然说本周对神经网络有了一些简单的介绍，但是感觉对于整个卷积神经网络的结构还不是很清楚。下周将继续深度学习卷积神经网络的内容。包括卷积神经网络的结构，层的排列规律，卷积层的大小以及残差网络ResNet的了解。
2022-08-21 20:07:53
810
原创 2022.8.14 第十九次周报
本章我们从基础的RNN入手，在了解RNN的基本知识之后，对RNN存在的问题展开描述。借此展开对LSTM的探索，并用LSTM解决这些问题。探讨LSTM的结构和能解决这些问题的原因。最后手推LSTM，让我们对该模型有更深度的理解。循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。以上，就是LSTM的内部结构。...
2022-08-14 18:45:10
464
原创 2022.7.31 第十七次周报
元学习是通过一系列task的训练，让机器成为一个更好的学习者，当机器遇到新的学习任务时，就能更快的完成。注意这里是测试任务里的训练资料也作为输入，通过F方法，学习出classify，然后把这个classify用到测试任务里的测试资料上，得到结果。计算Loss以往的机器学习是通过计算训练资料得出Loss，而元学习是通过训练任务里的测试资料计算。Metalearning指的是找到产生f的函数F，向F输入训练数据，可以产生满足需求的f。N种方式K-shot分类在每个任务中，有N个类，每个类都有K个示例。...
2022-07-31 15:33:04
379
原创 2022.7.16 第十五次周报
当我们把上一步训练好的模型参数作为训练任务二的模型初始值的时候，我们再经过训练发现，任务一数字识别的准确率变为百分之八十，任务二数字识别的准确率变为百分之九十七，可以看到的是任务二仅仅提高了百分之一，但是任务一却忘记了。一种做法就是PregressiveNeuralNetwork，它每训练一个新任务就会增加一个新网络，然后将原先任务的隐藏层输出作为输入，这样就可以考虑前面的任务，不会遗忘，但是随着会的任务越来越多，网络也会越来越大，这会导致memory总有一天会耗尽。还有一种叫做GEM的方法。...
2022-07-17 06:41:36
634
原创 2022.7.10第十四次周报
目录一、Network Pruning(网络剪枝)1.Network Pruning2.Practical Issue2.1 weight pruning2.2 neuron pruning3.Why Pruning?二、Knowledge Distillation(知识蒸馏)1.Knowledge Distillation2.Temperature for softmax三、Parameter Quantization（参数量化）1.Parameter Quantization2.Binary Weigh
2022-07-10 21:25:51
992
原创 2022.7.3 第十三次周报
目录一、基本概念 What is RL?1.Machine Learning编辑Looking for a Function2.Example:Playing Video Game3.Example:Learning to play Go4.Step1:Function with Unknown5.Step2:Define"Loss"6.Step3:Optimization二、Policy Gradient1.How to control your actor2.Policy Gradient3.On-p
2022-07-03 23:03:06
331
原创 2022.6.19 第十一次周报
目录一、How to Attack1.Example of Attack2.How to Attack（White Box Attack）3.Non-perceivable4.Attack ApproachGradient DescentFast Gradient Sign Method (FGSM)Iterative FGSM5.White Box v.s. Black Box6.Black Box Attack7.Attack in the Physical World攻击人脸识别系统攻击路牌识别系统8
2022-06-20 18:52:23
496
原创 2022.6.12 第十次周报
目录一、Why we need Explainable ML?1.Correct answersIntelligent2.Interpretable V.S. Powerful3.Goal of Explainable ML?二、Local Explanation:Explain the Decision1.Which component is critical?2.LimitationNoisy GradientGradient Saturation3.How a network processes th
2022-06-12 19:39:39
323
原创 2022.6.5第九次周报
目录一、Basic idea of Auto-encoder1.Auto-encoder2.Why Auto-encoder?3.De-noising Auto-encoder二、Feature Disentanglement1.Representation includes information of different aspects2.Feature Disentanglement3.Application:Voice Conversion三、Discrete Latent Representati
2022-06-05 22:41:19
1144
原创 2022.5.29 第八次周报
目录自监督学习 Self-supervised Learning一、什么是Self-supervised Learning?1.Self-supervised Learning2.Masking Input第一个是MASK（special token）第二种是Random3.Next Sentence Prediction二、How to use BERT?GLUEGLUE ScoreCase1:Sentiment AnalysisCase2:POS ta..
2022-05-29 22:20:12
469
原创 2022.5.22第七次周报
生成式对抗网络 Generative Adversarial Network (GAN)1.Introduction of Generative ModelsNetwork as GeneratorWhy distribution?
2022-05-22 22:27:01
185
原创 2022.5.15第六次周报
目录一、Transformer二、Sequence-to-sequence(seq2seq)Seq2seq应用1.Chatbot（训练聊天机器人）2.QA(问答任务)3.Syntactic Parsing(句法分析)4.Multi-label Classification(多标签分类问题)5.Object DetectionSeq2seq构成EncoderDecoderEncoder-Dncodercross-attention三、Training
2022-05-15 21:10:14
223
原创 2022.5.8第五次周报
目录摘要self-attention模型的输入模型的输出自注意力机制函数计算相关度的公式self-attention的计算过程（运算过程）位置编码（Positional Encoding）self-attention v.s. CNNself-attention v.s. RNN总结摘要 本周主要学习自注意力机制，self-attention和CNN，RNN的区别和联系。self-attention是network的一种...
2022-05-08 07:06:29
303
原创 2022.5.1第四次周报
目录前言Learning Rate分类 ClassificationConvolutional Neural Networks（CNN）总结前言本周学习有关类神经网络的自动调整学习速率（Learning Rate）和损失函数（Loss）也可能有影响和卷积神经网络（Convolutional Neural Networks,CNN）Learning RateAdam:RMSProp+MonentumVarious Improvements（改进后的公式）.
2022-05-01 18:19:36
795
原创 2022/4/24第三次周报
1.机器学习任务攻略General Guidance 一般指导检查training data 的 loss1.1large1.1.1 模型偏差 model biasThe model is too simpleSolution:redesign your model to make it more flexible模型太简单解决方案：重新设计模型，使其更加灵活1.1.2优化不好 optimization lssueSolution:more powerful optimization t
2022-04-24 18:45:49
139
原创 2022.4.17第二次周报
回顾一下deep learning的历史：1958: Perceptron (linear model) 1969: Perceptron has limitation 1980s: Multi-layer perceptron Do not have significant difference from DNN today 1986: Backpropagation Usually more than 3 hidden layers is not helpful 1989: 1
2022-04-17 16:04:12
839
原创 第一次周报
从本周开始学习李宏毅2022机器学习深度学习课程。本门课程一共分为十五个章节。1-5：监督式学习 supervised learning6：生成对抗网络 generative adversarial network7：自我监督学习 self-supervised learning8：异常检测 anomaly detection9：可解释性AI explainable AI10：模型的攻击 model attack11：领域适应 domain adaptation12：强化学习
2022-04-10 15:53:57
765
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人