![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习与机器学习基础知识
淘尽黄沙后
这个作者很懒,什么都没留下…
展开
-
机器学习中样本不平衡问题的解决
https://m.nowcoder.com/questions?uuid=31f2dc86be204260a0d01c79a88a7d78参考西瓜书,解决类别不平衡书中提出三种方法: 1.下采样 2.过采样 3.阈值偏移 所以我觉得第一个也应该选吧主要三个方面,数据,模型和评估方法。数据上过采样和欠采样,使之均衡;模型上选对样本不均衡问题不敏感的模型,如决策树; 或者调整分类阈值,使得更倾向与类别少的数据评估方法,比如ROC或者F1得分难易样本不平衡的问...原创 2021-08-19 00:01:30 · 162 阅读 · 0 评论 -
朴素贝叶斯 后验概率最大化与期望风险最小化
关于李航机器学习中4.1.2节中后验概率最大化含义的理解补充原创 2021-08-10 16:22:50 · 742 阅读 · 1 评论 -
KNN-k近邻算法
关于如何划分区域,看这篇:李航老师《统计学习方法》第二版第三章课后题答案kd树算法的辅助理解,看这篇:K近邻算法(k-nearest neighbor,KNN)之前都只理解了如何通过kd树找最近邻点,没看明白怎么通过kd树找k个最近点,结合文章【量化课堂】kd 树算法之详细篇,终于看明白了,主要思想就是维护一个大小为k的最大堆,在kd树中搜索时逐步把节点加入堆中,当堆满(有k个点时)且距离小于堆顶时,交换堆顶和新找到的点,循环这个过程。图截自上篇参考文章。...原创 2021-08-09 21:26:30 · 151 阅读 · 0 评论 -
关于BN、LN、GN
BN层的作用就是通过参数控制了每一层输出的均值和标准差。BN的实质是对一个batchsize中的所有batch,把所有图片的相同通道的值相加,然后求均值和方差,然后对每个点做归一化,具体可参考博客,讲的很详细。对于N*C*W*H的输入,进行BN操作时会计算出C个均值和方差,每N*W*H计算出一个均值和方差,再用计算出来的均值和方差对N*W*H个点进行归一化。BN其实并没有解决ICS问题,而是引入了参数γ和β去调节中间层输出的均值和标准差,γ和β会在训练过程中不断更新,意味着均值和标准差也在不断变原创 2021-07-15 15:54:41 · 1435 阅读 · 0 评论 -
关于凸优化与机器学习理解笔记
梯度下降法和牛顿法等基于导数作为判断依据的优化算法,找到的都是导数为0的点,但是梯度为0只是取得极值的必要条件而非充分条件。如果我们将这个必要条件变成充分条件,即:x点的梯度等于0=》x是问题的最优解若对于目标函数,我们限定是凸函数;对于优化变量的可行域(包括目标函数对定义域的约束),我们限定为凸集。同时满足这两个限制条件的最优化问题成为凸优化问题,这类问题有个非常好的性质,那就是局部最优解一定是全局最优解。关于凸集的概念:对于n维空间中点...原创 2021-07-10 17:09:42 · 260 阅读 · 0 评论 -
过拟合与欠拟合
过拟合:模型对于训练数据拟合过当的情况。其表现为模型在训练数据上表现很好,但是在测试数据上表现较差。欠拟合:模型对数据拟合不够。其表现为模型在训练数据和测试数据上都表现不好。jie...原创 2021-06-23 15:17:02 · 401 阅读 · 0 评论 -
iteration、batchsize与epoch
iteration = epoch * batch_sizeiteration为迭代次数(更新次数)原创 2020-11-08 19:43:28 · 255 阅读 · 0 评论