笔记
fayeeenn
努力转码小白
展开
-
西瓜书第五章
学习目标:看西瓜书第五章,并结合南瓜书推导公式学习内容:1、神经元模型2、感知机与多层网络3、误差逆传播算法4、全局最小与局部最小学习时间:1、周六、周天抽时间2、周一补公式的推导学习产出:神经网络其实是机器学习与神经学之间的交叉学科,之前一直搞不清楚神经网络、深度学习、机器学习之间的关系。其实可以简单想,机器学习是一个大类,深度学习就是让机器模仿人类神经网络的传递、学习方法。深度学习可以简单理解为神经网络。简单的感知机就是两个神经节点,可以很好地做出“与、或、非”这样的逻辑门原创 2021-07-25 23:28:45 · 318 阅读 · 0 评论 -
西瓜书第四章
学习目标:看西瓜书+南瓜书第四章学习内容:1、剪枝处理2、ID3决策树学习时间:周三上午周四晚上学习产出:ID3决策树是以信息增益为准则来选择划分属性的决策树信息增益:在已知属性(特征a)的取值后y的不确定性减少的量,也即纯度的提升。因为熵等于零是理想状态,一般实际情况下,熵介于0和1之间 。熵的不断最小化,实际上就是提高分类正确率的过程。剪枝处理预剪枝:在判断的过程中修剪掉一些非叶节点,防止过拟合,提高泛化能力。后剪枝:在生成决策树之后,再对叶节点进行修剪。判断修剪能够原创 2021-07-22 22:20:56 · 115 阅读 · 0 评论 -
西瓜书第三章
学习目标:西瓜书第三章学习内容:1、一元线性回归2、多元线性回归3、对数几率回归4、二分类线性判别分析学习时间:周一晚上八点学习产出:一元线性回归是有一个因素,根据这个因素进行判断,e.g. 西瓜的颜色与甜度之间的关系;损失函数E(w,b),最小二乘法、正交法argmin:并不是说损失函数最小等于多少,而是损失函数最小时,此时的参数分别为多少?...原创 2021-07-19 23:51:25 · 149 阅读 · 2 评论 -
西瓜书第一、二章
学习目标:简略过一遍西瓜书第一、二章学习内容:看西瓜书,对照南瓜书的公式学习学习时间:周一 上午周二 上午+下午1h输出学习产出:归纳偏好 具体问题中,才有模型“好”与“坏”之分 脱离具体问题,不存在模型好坏的判断过拟合与欠拟合 过拟合:为训练系量身定制,泛化性能很差 欠拟合:泛化性能好,但是过于General,准确率低评估法 数据量足够 留出法 交叉验证法 数据量很小 boot原创 2021-07-13 18:01:45 · 81 阅读 · 0 评论 -
集成学习Ensemble Learning(一)| 机器学习的三大主要任务
机器学习的三大主要任务概述监督学习回归分类无监督学习强化学习总结附:scikit-learn工具库自带的数据集概述这次参加集成学习的组对学习,加油加油~ 距离上次系统地学机器学习已经大半年了,好多基础知识都忘得差不多了。正好趁这次再回顾一下,也可以复习一下python里面的一些库的使用方法。在一般情况下,用xik 表示特征数据,大写X表示特征x的向量矩阵。对于特征,都用x(k) 表示,而样本用xi 表示。e.g. 第1个样本的第2个特征为x12 ,第5个样本的第3个特征为x53监督学习回归监督原创 2021-03-15 22:03:24 · 181 阅读 · 0 评论 -
人多什么都队 提分讨论内容
1.Bert模型方面,分别换了更大的Bert模型,RoBERTa和ERNIE(两位朋友都上了很高的分数!祝贺祝贺!)2. 在Bert之后再加上一个小的神经网络,比如LSTM或Attention机制,三个任务共享的公共层加上Self-attention*3. 修改loss函数、进行动态加权(可以尝试)一些入门Pytorch和TensorFlow的资源:Pytorch Handbookhttps://github.com/zergtant/pytorch-handbookTensorFlow原创 2021-02-26 00:12:38 · 66 阅读 · 0 评论