离散梦-CSDN博客

原创命题逻辑等值演算

作者：离散梦欢迎大家给出宝贵的建议！命题逻辑等值演算一、等值式定义1设A，B是两个命题公式，若A，B构成的等价式为重言式，则称A与B是等值的，记作。 16组常用的重要等值式模式：1.双重否定律：2.幂等律：3.交换律：4.结合律：5.分配率：6.德摩根律：7.吸收律：8.零律：9.同一律：10.排中律：11.矛盾律...

2018-07-12 22:26:37 12565

原创命题逻辑的基本概念

作者：离散梦欢迎大家给出宝贵的建议！命题逻辑的基本概念 1.1 命题与联结词：非真即假的陈述句称作命题。【祈使句、疑问句、感叹句、悖论都不是命题】作为命题的陈述句所表达的判断结果称作命题的真值，真值只取两个值：真或假。真值为真的命题称作真命题，真值为假的命题称作假命题。不能被分解成更简单的命题称作简单命题或原子命题：由简单命题通...

2018-07-11 15:12:15 10953

原创特征向量的缺失值处理

作者：离散梦欢迎大家给出宝贵的建议！特征向量的缺失值处理 1.缺失值较多，直接将该特征舍弃掉，否则可能反倒会带入较大的noise，对结果造成影响。别人的经验：（1）数据量很小用贝叶斯，适中较大用xgboost，或神经网络。（2）避免使用距离度量相关的模型，如Knn和SVM，因为计算两点距离。所以缺失值比较重要，处理不当会导致效果很差。2.缺失...

2018-07-10 14:41:31 1726

原创梯度下降法

作者：离散梦欢迎大家给出宝贵的建议！梯度下降法说说梯度下降法：在这里称为参数，设x0=1,x1、x2为特征向量。由此推出：损失函数：求梯度下降法的算法流程如下：（1）首先对赋值，这个值可以使随机的，也可以让是一个全零的向量。（2）改变的值，使得按梯度下降的方向进行减少。公式过程：...

2018-07-10 12:30:33 682

原创岭回归（ridge回归）、lasso回归、ElasticNet回归

作者：离散梦欢迎大家给出宝贵的建议！岭回归（ridge回归）、lasso回归、ElasticNet回归为了防止过拟合的现象出现，引入以上优化方法。（正则化）岭回归就是引入L2正则化项lasso回归就是引入L1正则化项ElasticNet回归就是引入L1和L2正则化项（lasso和ridge回归组合）。公式：岭回归器就是用普通...

2018-07-10 12:07:12 3410

原创哪些机器学习算法不需要做归一化

作者：离散梦欢迎大家给出宝贵的建议！哪些机器学习算法不需要做归一化哪些机器学习算法不需要做归一化？概率模型（树形模型）不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF。而像Adaboost、SVM、LR、Knn、KMeans之类的最优化问题就需要归一化。标准化：特征均值为0，方差为1公式...

2018-07-10 11:50:21 15919 6

原创非平衡数据集的机器学习常用处理方法

作者：离散梦欢迎大家给出宝贵的建议！非平衡数据集的机器学习常用处理方法 1.收集更多的数据 2.尝试改变性能评价标准：【当数据不平衡，准确度已经失去了它原有的意义】（1）混淆矩阵（2）精度（3）召回率（4）F1分数（权衡精度和召回率）（5）Kappa（衡量分类精度）（6）Roc曲线（曲线面积就是AUC） 3.重采样数据...

2018-07-09 19:33:47 2561

原创交叉熵代价函数

作者：离散梦欢迎大家给出宝贵的建议！交叉熵代价函数前言：，损失函数/代价函数，经验风险，模型f(x)关于训练数据集的平均损失称为经验风险或经验损失。 J(f)，常用L1/L2，这个函数专门用来度量模型的复杂度。在机器学习中也叫正则化。，结构风险，J(f)为模型的复杂度，结构风险小需要经验风险与模型复杂度同时小。结构风险最...

2018-07-09 16:17:30 467

原创 Overfitting怎么解决? L1和L2正则化介绍

作者：离散梦欢迎大家给出宝贵的建议！ Overfitting怎么解决? L1和L2正则化介绍 Overfitting怎么解决？Regularizatin（L1、L2正则化）、dropout、Batch Normalization、Early Stopping L2正则化：（权重衰减惩罚）对b没有更新，W有更新。【为学习率】所以L2...

2018-07-09 12:55:53 580

原创数据结构之树和图相关笔记

作者：离散梦欢迎大家给出宝贵的建议！数据结构之树和图相关笔记树的定义：树（Tree）是n（n>=0）个节点的有限集。n=0时称为空树。在任意一棵非空树中：（1）有且仅有一个特定的称为根（Root）的节点；（2）当n>1时，其余节点可分为m（m>0）个互不相交的有限集T1、T2、......、Tm，其中每一个集...

2018-07-08 11:25:23 4254

原创数据结构之排序算法

作者：离散梦欢迎大家给出宝贵的建议！数据结构之排序算法稳定排序：冒泡、插入、归并、基数不稳定排序：选择、快速、希尔、堆口诀就是：快（快速）些（希尔）选（选择）一堆（堆）好朋友来玩吧！ 1.冒泡排序冒泡排序（Bubble Sort）一种交换排序，它的基本思想是：两两比较相邻记录的关键字，如果反序则交换，直到没有反序的记录为止。【时间复杂度为O(n^2...

2018-07-07 21:13:10 1142

原创图像处理基本操作和添加噪音（Matlab）

作者：离散梦欢迎大家给出宝贵的建议！图像处理基本操作和添加噪音（Matlab）图像处理基本操作：读取图像：>>imread(' filename ') 显示图像：>>imshow( f )示例：同时显示另一幅图：>>figure,imshow( g )保存图像：>>imwrite(...

2018-07-06 18:31:04 22380 4

原创线性模型和逻辑回归

作者：离散梦欢迎大家给出宝贵的建议！线性模型和逻辑回归一、前言和以前一样，主要目的还是整理总结自己的思路。同时，初学者也可以看看我的思路，希望可以得到一定的启发。当然希望能给我提出点建议，或者问题，我愿意在学习过程中和大家交流。二、正题接下来进入正题，今天我要讲的是，线性模型和逻辑回归。我之所以想写这篇博客，是因为我从视...

2018-01-08 14:29:30 1012

原创通俗易懂的泰坦尼克号生存分析（titanic）

作者：离散梦欢迎大家给出宝贵的建议！泰坦尼克号数据分析一、前言主要目的是整理自己的思路。本文主要是关于泰坦尼克号生存率python分析，因为很多博客做这个项目都比较深入，感觉都比较高大上，我们初学者并不一定都能懂，甚至没兴趣看下去。这文章，也是从视频上学了之后，发现很不错，通俗易懂，非常推荐入门。我们可以共同学习。非常希望有人愿意指出我的不足。 ...

2017-12-29 15:59:24 23201 22

离散梦