离散梦

作者：离散梦欢迎大家给出宝贵的建议！ 命题逻辑等值演算 一、等值式定义1设A，B是两个命题公式，若A，B构成的等价式为重言式，则称A与B是等值的，记作。 16组常用的重要等值式模式：1.双重否定律：2.幂等律：3.交换律：4.结合律：5.分配率：6.德摩根律：7.吸收律：8.零律：9.同一律：10.排中律：11.矛盾律...

作者：离散梦欢迎大家给出宝贵的建议！  命题逻辑的基本概念  1.1 命题与联结词：非真即假的陈述句称作命题。【祈使句、疑问句、感叹句、悖论都不是命题】作为命题的陈述句所表达的判断结果称作命题的真值，真值只取两个值：真或假。真值为真的命题称作真命题，真值为假的命题称作假命题。 不能被分解成更简单的命题称作简单命题或原子命题： 由简单命题通...

 作者：离散梦欢迎大家给出宝贵的建议！   特征向量的缺失值处理 1.缺失值较多，直接将该特征舍弃掉，否则可能反倒会带入较大的noise，对结果造成影响。别人的经验：（1）数据量很小用贝叶斯，适中较大用xgboost，或神经网络。（2）避免使用距离度量相关的模型，如Knn和SVM，因为计算两点距离。所以缺失值比较重要，处理不当会导致效果很差。2.缺失...

作者：离散梦欢迎大家给出宝贵的建议！ 梯度下降法  说说梯度下降法： 在这里称为参数，设x0=1,x1、x2为特征向量。由此推出： 损失函数： 求 梯度下降法的算法流程如下：（1）首先对赋值，这个值可以使随机的，也可以让是一个全零的向量。（2）改变的值，使得按梯度下降的方向进行减少。 公式过程：...

作者：离散梦欢迎大家给出宝贵的建议！   岭回归（ridge回归）、lasso回归、ElasticNet回归  为了防止过拟合的现象出现，引入以上优化方法。（正则化） 岭回归就是引入L2正则化项lasso回归就是引入L1正则化项ElasticNet回归就是引入L1和L2正则化项（lasso和ridge回归组合）。公式： 岭回归器就是用普通...

作者：离散梦欢迎大家给出宝贵的建议！  哪些机器学习算法不需要做归一化  哪些机器学习算法不需要做归一化？     概率模型（树形模型）不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF。而像Adaboost、SVM、LR、Knn、KMeans之类的最优化问题就需要归一化。 标准化：特征均值为0，方差为1公式...

作者：离散梦欢迎大家给出宝贵的建议！ 非平衡数据集的机器学习常用处理方法  1.收集更多的数据 2.尝试改变性能评价标准：【当数据不平衡，准确度已经失去了它原有的意义】（1）混淆矩阵（2）精度（3）召回率（4）F1分数（权衡精度和召回率）（5）Kappa（衡量分类精度）（6）Roc曲线（曲线面积就是AUC） 3.重采样数据...

作者：离散梦欢迎大家给出宝贵的建议！ 交叉熵代价函数 前言： ，损失函数/代价函数 ，经验风险，模型f(x)关于训练数据集的平均损失称为经验风险或经验损失。 J(f)，常用L1/L2，这个函数专门用来度量模型的复杂度。在机器学习中也叫正则化。 ，结构风险，J(f)为模型的复杂度，结构风险小需要经验风险与模型复杂度同时小。  结构风险最...

作者：离散梦欢迎大家给出宝贵的建议！ Overfitting怎么解决? L1和L2正则化介绍 Overfitting怎么解决？Regularizatin（L1、L2正则化）、dropout、Batch Normalization、Early Stopping L2正则化：（权重衰减惩罚） 对b没有更新，W有更新。【为学习率】 所以L2...

作者：离散梦欢迎大家给出宝贵的建议！ 数据结构之树和图相关笔记 树的定义：    树（Tree）是n（n>=0）个节点的有限集。n=0时称为空树。    在任意一棵非空树中：    （1）有且仅有一个特定的称为根（Root）的节点；    （2）当n>1时，其余节点可分为m（m>0）个互不相交的有限集T1、T2、......、Tm，其中每一个集...

作者：离散梦欢迎大家给出宝贵的建议！ 数据结构之排序算法 稳定排序：冒泡、插入、归并、基数不稳定排序：选择、快速、希尔、堆 口诀就是：快（快速）些（希尔）选（选择）一堆（堆）好朋友来玩吧！ 1.冒泡排序冒泡排序（Bubble Sort）一种交换排序，它的基本思想是：两两比较相邻记录的关键字，如果反序则交换，直到没有反序的记录为止。【时间复杂度为O(n^2...

作者：离散梦欢迎大家给出宝贵的建议！ 图像处理基本操作和添加噪音（Matlab） 图像处理基本操作：读取图像：>>imread(' filename ')    显示图像：>>imshow( f )示例：同时显示另一幅图：>>figure,imshow( g )保存图像：>>imwrite(...

作者：离散梦欢迎大家给出宝贵的建议！ 线性模型和逻辑回归 一、前言       和以前一样，主要目的还是整理总结自己的思路。同时，初学者也可以看看我的思路，希望可以得到一定的启发。当然希望能给我提出点建议，或者问题，我愿意在学习过程中和大家交流。  二、正题  接下来进入正题，今天我要讲的是，线性模型和逻辑回归。我之所以想写这篇博客，是因为我从视...

作者：离散梦欢迎大家给出宝贵的建议！ 泰坦尼克号数据分析 一、前言        主要目的是整理自己的思路。本文主要是关于泰坦尼克号生存率python分析，因为很多博客做这个项目都比较深入，感觉都比较高大上，我们初学者并不一定都能懂，甚至没兴趣看下去。这文章，也是从视频上学了之后，发现很不错，通俗易懂，非常推荐入门。我们可以共同学习。非常希望有人愿意指出我的不足。 ...