m0_61736329的博客

对比训练：在batch中计算所有图像与文本的余弦相似度，每个图文对的相似度最高，处在对角线上，其余相似度低。文本编码使用Transformer，输出[batch_size，text_feature]图像编码使用ViT，输出[batch_size，picture_feature]3.3使用CLIP训练Logistic回归模型，分类CIFAR100。首先，每个batch的图文对分别进行图像编码和文本编码。输入一张图片，设置几个类别，输出softmax概率分布。本文主要记录CLIP模型的原理，安装，基本使用。

对于[batch_size,max_length,d_model]的输入，经过位置编码后输出的PE为[batch_size,max_length,d_model],与词嵌入维度相同。PE是位置编码的结果，pos指的是单词所在句子里的位置，i是索引，dmodel 是词嵌入维度。Encoder输入：[batch_size,max_length,d_model]tgt （汉语）:[batch_size,max_length]④输出数据张量：将句子转化为可用于训练的数据张量。词嵌入：将原始张量嵌入到高维空间。

使用ResNet实现数字手势图像识别。

利用卷积神经网络实现手势数字识别： 基于要求设计一个简单的CNN： ①输入层：[64,64,3] 是大小64*64的RGB手势图像。②卷积层：卷积核设计为：[3,3,3,16]大小3*3，输入通道3，输出通道16的卷积核。 计算可得输出数据维度:[,62,62,16]。③RELU激活函数：数据维度不变。④池化层 ：设计步长2,大小2*2的最大池化层。输出数据维度:[31,31,16]。⑤展平：将数据展平，大小为31*31*16 = 15376。将他作为全连接层的输入。⑥全连接层

导入数据并绘制图形：数据为边界层清晰的离散坐标点。目标是预测未知点的颜色并绘制边界层。这个已经在之前实现，这次主要任务是使用不同的优化算法，选择效果最优秀的优化算法。

导入数据后绘制图像如下：数据是红蓝边界明显的二维坐标点。我们需要做的是搭建神经网络实现对点颜色的预测，并绘制边界层将他们分开。

输入模型的parameters和输入特征X，返回预测结果以及前向传播过程中的缓存结果（A1Z1,A2Z2,A3Z3，反向传播中用来计算）。从输入到输出的前向传播有四步，也就是说返回的parameters有W1,b1,W2,b2,W3,b3,W4,b4这八个参数。输入预测的结果AL，train_y，以及前向传播的缓冲数据，可以计算出每一层的梯度。设置迭代次数，前向传播反向传播计算出损失和梯度，使用梯度下降算法更新参数，不断迭代。导入数据，X为64*64的RGB图像，Y为是否是小猫，0为否，1为是。

作业提供了数据集，加载后数据形状如下： 需要进行以下处理：①输入特征扁平化：将RGB图像转为一维的灰度值②输入特征标准化：将0-255的灰度值缩放到0-1之间代码如下： 2.正反向传播正向传播计算出估计值，反向传播计算出梯度。同时计算交叉熵损失，代码如下： 3.梯度下降优化器在计算出梯度后，使用梯度下降算法对模型参数进行优化。同时记录loss，在收敛后不再迭代，之后绘制图像。代码如下： 最后在5415轮迭代时收敛，loss为0.058。尽管已经对特征进行了标准化，学习率

这次的作业是搭建神经网络，并通过反向传播训练模型，实现手写数字识别。

这次作业是使用神经网络实现手写数字识别。要求为使用给出的训练好的参数对结果进行预测。

作业的目标是实现手写数字识别，使用OvA Logistic回归方式实现。作业提供了两个文件，其中分别包含X[5000,400]与Y[5000，1]。其中X的含义是：5000张20*20的手写数字灰度值数据，以列的方式保存在mat文件中。Y的含义是：5000张手写数据对应的结果，以mat文件保存。

作业1的目标是根据两门成绩与是否录取的历史数据，对将来的录取结果进行预测。作业2的目标是根据芯片的两组测试结果与合格程度，对芯片是否合格进行预测。

吴恩达机器学习练习题，使用Pyhton实现。

实例化蓝牙、超声波、电机模块，在always块中实时判断蓝牙的信息进行模式选择，在遥控模式中实时判断红外遥控的信息遥控小车，最后的代码是在ila中debug，实际没有用。在之前的文章中具体控制代码已经全部进行了分析与解释，顶层模块进行模块的输入输出的定义、内部变量的定义、模块的实例化与蓝牙信号的判断。整体Arduino代码如下;

对于色块识别功能，我想让OpenMV检测色块，在数码管上显示。OpenMV的通信也是串口通信，实现比较耗时。由于之前的红外遥控已经外接了Arduino，因此我依然借助Arduino对红绿蓝进行编码，使用两个IO实现信息传递，在FPGA上进行译码，最后根据对应的信息实现数码管显示。

寻迹模块的实现需要两个TCRT5000传感器。简单地说，检测到黑线输出低电平，检测到白线输出高电平。因此两个TCRT5000放在黑色地面的白线循迹线左右，左边检测到白线左转，右边检测到白线右转，都是黑的前进，都是白线停止。算法比较容易实现。

这种方式的优点是设计十分简单粗暴，同时能实现通信,但是缺点也十分明显。需要占用大量的IO口，并且需要外置单片机进行解码。其实就相当于脱裤子放屁，不过因为时间与水平有限，这也是一种折中的实现方法。红外遥控的实现由于时间有限，并且协议的难度也比较大，因此我们借助于Arduino对信息进行解码，再通过自己编码实现红外遥控。简单的解码，判断mode的值。FPGA只能0-1信号，因此可以用n个IO口进行编码，总共有。个信息的编码，在Vivado中进行解码，便可实现通信。str的值需要根据实际测试。