本周进度
一、AI学科关系
上世纪八十年代末,人工神经网络的反向传播算法的发明使得机器学习重新回到学者的视野,引发了基于反向传播算法的机器学习领域的探讨,直到现在。深度学习是一种机器学习的子领域,它关注如何使用大规模数据来训练复杂模型以解决各种任务。神经网络是深度学习中的核心组件之一,它们是通过模仿人类神经系统的结构和功能而设计的复杂数学模型。在深度学习中,神经网络通常被用来解决如语音和图像识别、自然语言处理等问题。它们通过层层传递和处理数据,逐渐提取出数据中的高级特征,并根据这些特征做出决策或预测。深度学习模型往往依赖于大量的标记数据来进行训练,这一过程中会调整网络参数,以达到最小化预测误差的目的。
图 1.1 AI学科关系
循环神经网络(RNN)是一种特殊类型的人工神经网络,特别适用于处理具有序列依赖性的数据,如文本、时间序列等。RNN的设计灵感来源于人类大脑的神经网络,它具有记忆能力,可以利用先前的信息来影响后续的输出。RNN(循环神经网络)的设计核心在于其结构中的循环连接,这一机制允许信息在网络内部进行循环传递,从而捕捉序列数据中元素之间的依赖关系。这个循环连接允许网络在处理序列数据时保留记忆,并在每个时间步上接收新的输入并产生输出。初始输⼊数据xt 在隐藏层神经元计算后得到隐藏状态 ,在下一个时间步t,隐藏层神经元不仅接收时间步t的输⼊数据,还会接收时间步t 输出的隐藏状态,得到新的隐藏状态。
基于这些输入,RNN会计算出当前时间步的隐藏状态ht 和输出y 。从数学的角度来看,RNN的隐藏状态ht 和输出yt 可以通过以下公式迭代地计算得出:
其中,f和g是激活函数(比如sigmoid、tanh或ReLU),Wih 是输入权重矩阵,Whh 是隐藏层到隐藏层的权重矩阵,Why 是隐藏层到输出的权重矩阵,bh 和by 分别是隐藏层和输出的偏置项。这些权重和偏置项在训练过程中被学习并更新,以优化网络对输入数据的处理。其结构如图1.2所示。
图1.2 RNN结构
能够处理任意长度的序列输入时RNN(循环神经网络)的一个显著特性。更详细的过程就是,RNN在处理序列的每个时间步时都使用相同的权重参数,即参数共享,这种特性让其能够无障碍地应用于不同长度的输入序列,无需针对每个特定长度的序列重新训练模型。通过这种方式,RNN能够有效地学习并捕捉序列数据中的内在结构和模式,在各种序列处理任务中展现出强大的性能。
二、Pytorch入门
1.知道张量Tensor的意义以及创建方法、如何实现tensor在cpu和cuda中转化。
2.了解什么是梯度下降、什么是反向传播以及它们的计算方法。
三、了解地震勘探原理
王同学分享给我的课程,4月那次会议老师好像也推荐过。了解了一些原理,地震波勘探实际上就是石油勘探的一种方法。
四、了解正反演的过程
课程也是王同学分享给我的,学姐讲的很详细,目前看了两节课得出来的一些印象就是正演就是根据既有的一些地质属性通过公式得出其地震波形数据的过程,反演反之。
机器学习就是通过利用收集到的数据,训练模型,得出一个预测值,那实际值跟预测值之间的误差就是损失值,训练模型的过程就是让这个损失值降到最低的过程。
正演收集到的数据实际就是我们要用来训练模型的数据,反演要输出的数据就是预测值(不太确定,再学学看)。
下周安排
按原计划来。
致谢
王同学,雪阳学姐