机器学习
icnvd
每天一个没用的小知识
展开
-
神经网络
神经网络M-P神经元模型概述神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过"激活函数"处理以产生神经元的输出(0到1的变化)。理想的激活函数应该是在x=0阶跃的阶跃函数(sgn(x)={1, x>=0; 0, x<0}),但是具有不连续的、不光滑等不好的性质,实际常用Sigmoid函数(sigmoid(x)=1/(1 + e^-x))来作为激活函数(又叫挤压函数,在x=0~1之间完成原创 2020-12-01 22:00:50 · 146 阅读 · 0 评论 -
决策树
决策树构造决策树的基本想法随着树深度的增加,节点的熵迅速地下降,熵降低的速度越快越好,这样我们有望得到一颗高度最矮的决策树构造的过程就是通过计算样本每种属性每种特征的熵值(属性熵值为特征熵值的加权和),计算与样本总熵值的差(信息增益gain),然后通过每种属性的信息增益的大小来决定决策树的根节点的顺序,完成决策树的构造。熵值计算公式根据历史数据,做某事的概率为2/5,不做某事的概率为3/5-(2/5)log2(3/5) - (3/5)log2(3/5)-0.4 * -1.321原创 2020-12-01 22:00:13 · 108 阅读 · 0 评论 -
机器学习一
机器学习一导致泛化能力差的两种情况学习训练集太多 过拟合学习训练集太少 欠拟合结果都是泛化能力差通过训练集和验证集来判断学习程度留出法 N 1- N N一般在2 / 3 ~ 4 / 5之间交叉验证法 k = 10 9份实验 1 份验证自助法 m个样本, 放回 随机选m次组成新样本集 每个样本33.6%的概率没被选到性能度量 均方差方法验证PR曲线原创 2020-12-01 21:58:25 · 84 阅读 · 0 评论