FeSCN6-CSDN博客

原创 ResNet34与SENet101 实现与测试

由于SENet101模型深度较大、参数量较多，笔记本电脑显存有限，进行10轮的训练，发现模型效果不够好，十轮下来测试集上准确度只有33%。2. 试着减少残差层，分别构建了ResNet32，ResNet26，ResNet18网络（[3, 4, 6, 2]，[2, 3, 4, 2]，[2, 2, 2, 2]），进行训练，发现随着残差块的减少，模型性能明显下降，表现为测试集上收敛效果差且准确度不高。1. 搭建ResNet34网络，每个残差层残差块个数[3,4,6,3]，最终34=(3+4+6+3)*2+1+1。

2024-06-14 18:53:15 1179

原创 LeNet-5网络 CIFAR10数据集分类任务

但是课上讲的分析是ReLU 激活函数收敛最快，因为在正数范围内是此函数线性的，而且在负数范围内是零，这样可以减少梯度消失的问题，并且加速了梯度下降的收敛速度。相比之下，Sigmoid 和 Tanh 函数在输入值较大或较小时，梯度较小，容易出现梯度消失问题，且这两个函数计算复杂度较高，所以导致收敛速度较慢。比较发现，激活函数为Sigmoid时，在训练集和测试集上的准确率都比较低。得出结论，实际在这个任务里，激活函数表现为：Tanh好于ReLU好于Sigmoid，具体表现为收敛速度快且准确率高。

2024-06-14 18:46:23 872

原创 Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling 论文阅读

由于依存类型众多、数据集大小有限，直接使用GCN的参数WL(u, v)(k)进行训练会造成参数训练不充分。于是使用V代替，dir(u, v)的取值一共只有三种；而对于偏置参数b的设置则没有进行替代。这样即在b里保留了完整的句法信息，又不至于使参数W难以训练。在其他的NLP任务中，如果遇到参数种类多难以训练，可以考虑这样的处理方式，即进行归类，将原本种类过多的参数种类减少。

2024-06-04 10:50:42 1019

原创《MixMatch: A Holistic Approach to Semi-Supervised Learning》论文阅读报告

在文章引用的[25] Temporal ensembling for semi-supervised learning的第三页提供了更详细解释：Cross Entropy 计算是需要先使用 softmax 函数，将Dense Layer输出的类分数转化为类概率，而softmax函数对于常数叠加不敏感，即如果将最后一个Dense Layer的所有输出类分数同时添加一个常数c, 则类概率不发生改变，Cross Entropy Loss不发生改变。1）无标签数据的数据增强的次数K；对于两个样本及它们的标签。

2024-05-18 17:46:17 1044 1

原创词义消歧：调研与思考

词义消歧（Word-sense disambiguation，简称WSD）是识别在一个句子或其他上下文段落中所指的词义的过程。歧义与消歧是自然语言理解中最核心的问题，在词义、句义、篇章含义层次都会出现语言在上下文语义不同的现象，消歧即根据上下文确定对象语义的过程。词义消歧即在词语层次上的语义消歧。语义消歧（词义消歧）是自然语言处理任务的一个核心与难点，影响了几乎所有任务的性能，比如搜索引擎、意见挖掘、文本理解与产生、推理等。在语言学长期发展的过程中，语言本身积累了许多一词多义的用法。

2024-05-18 17:31:51 835

原创数据挖掘学习笔记1 数据挖掘概述

1）分类问题，二分类，输入和类别是一种映射。需要对满足要求（可以是自己设定的条件，如交易金额大于某值或交易日期间隔小于某值）的部分用户标记为1，表示忠实用户，其余标记为0表示非忠实用户，作为标记进行预测。2. 分类：在输入对象的属性与输出的类别信息之间学习一种映射关系，以确定对象属于哪。3. 聚类：根据对象属性的相似性将它们划分到若干个簇（类）中，划分的原则是簇内相似。在数据挖掘中，知识通常被定义为从数据中抽取、推断或发现的有意义、有用的。从大量数据中提取出有趣的（非平凡的、隐含的、以前未知的和潜在。

2023-12-21 21:12:53 404

原创数据挖掘三种数据集聚类分析

第三个数据集由三类聚在一起类似球形的数据构成，且标记为0和2的数据之间距离很小，有些数据混合在一起。使用dbscan= DBSCAN(eps = eps_value, min_samples = min_samples_value)实现DBSCAN，设置eps_value=0.25，min_samples_value=6。从中看出，对于前两个数据集，DBSCAN算法并不能识别两个分开的类，而对于第三个数据集，DBSCAN算法会把离群点视为第三个类，原本label中的0和2类数据则会被聚到同一个簇中。

2023-12-16 19:10:24 1349 1

原创数据挖掘 Apriori与Fp-growth 频繁项集挖掘与关联规则分析

5）support为规则的支持度，指同时包含前件和后件的事务数与总事务数的比；（2）选择事务集中前100条事务，选择合适的支持度阈值，使用Apriori算法和FP-growth算法挖掘频繁项集（推荐使用mlxtend包的apriori和fpgrowth函数），并对比apriori算法和fpgrowth算法的时间复杂度；2. 选择事务集中前100条事务，选择合适的支持度阈值，使用Apriori算法和FP-growth算法挖掘频繁项集，并对比apriori算法和fpgrowth算法的时间复杂度；

2023-12-16 18:57:20 1055 1

原创数据挖掘 Apriori算法杂货店商品数据集频繁项集挖掘

基本思路为：1）创建候选1-项集，2）对候选1-项集调用函数scanDataset，返回频繁1-项集；其中，频繁1-项集有11个，频繁2-项集有24个，频繁3-项集有10个，频繁4-项集有1个。创建空列表C1存储候选1-项集，然后使用两层循环进行遍历，外层循环遍历每条交易记录，内层循环遍历每个商品，把未出现的商品添加到C1中，再对C1进行排序。3）判断是否可对候选2-项集进行剪枝操作，然后计算剩余候选2-项集的支持度计数，最后筛选出频繁-2项集；五、利用频繁k-1-项集生成候选k-项集。

2023-12-16 17:50:43 997

原创数据挖掘加利福尼亚房价预测

从图中可以看出，该数据集共有十个属性，分别为longitude(经度), latitude(维度), housing_median_age(房子年龄中位数), total_rooms(总房间数), total_bedrooms(总卧室数), population(人口数), households(家庭数), median_income(收入中位数), median_house_value(房价中位数), ocean_proximity(海洋临近度)。前九个均为数值属性，最后一个为标称属性。

2023-12-16 17:40:50 1256

原创数据挖掘 K近邻算法泰坦尼克号数据集乘客幸存分析

Survived和Sex为二元属性，Survived仅有两个取值0/1，Sex仅有两个取值male/female，且Survived为非对称二元属性，Sex为对称二元属性；（2）将幸存属性设置为类别标签，使用K近邻算法作为分类算法（无需考虑PassengerID，name，ticket和cabin，去掉带缺失属性的样本），在测试集上预测乘客的幸存情况并计算准确率。1. 去除相关属性，删去缺失值，设置标签，将Sex和Embarked属性由str属性编码为int，便于进一步计算混合属性距离。

2023-12-15 21:54:26 1082

原创数据挖掘泰坦尼克号数据集分析

由图可知，1）乘客中来自3阶级的人数大于来自1阶级的人数大于来自2阶级的人数，2）乘客中男性人数明显高于女性人数，3）大部分乘客为年轻人，4）绝大多数乘客只有0或1位的兄弟姐妹或配偶在船上，5）船票平均价格在50以下，但仍有500左右的船票价格存在，6）上船地点人数S>C>Q。（1）可视化数据集中的Pclass属性，Sex属性，Age属性，SibSp属性，Fare属性和Embarked属性；计算年龄的均值、中位数和众数并打印，发现年龄均值约为30，中位数为28，众数为24。使用柱状图进行可视化。

2023-12-15 21:36:26 1619

m0_62042674的博客