- 博客(19)
- 收藏
- 关注
RSS订阅原创 DP常见问题及解法
1.斐波那契数列 斐波那契数列大家都很熟悉，而且知道用递归可以很容易的做出来： n = int(input) def fblq(n)： if n == 0: return 0 elif n == 1: return 1 else: return fblq(n-1) + fblq(n-2) 如果用动态规划，就是把结果存到...
2019-08-20 17:57:04
2405
原创 机器学习第九篇：EM算法及其在高斯混合模型和K-means中的应用
1.EM算法： EM算法产生的前提：当概率模型的变量都是观测变量的时候可以直接用极大似然估计法求得我们的最优解，但是当模型含有隐变量的时候，就无法直接求得最优解，而此时就产生了我们的EM算法。 假设Y表示可观测的变量，Z(跟Y是存在关联的)表示不可观测的数据而我们最终的目的是通过迭代来求解出,每次迭代分两步：E步，求期望；M步，求极大化。 算法： 选择初始参数，开始迭代； E步：第i次迭...
2019-05-06 20:20:17
574
原创 机器学习第八篇：逻辑回归
今天学习了逻辑回归，逻辑回归可以看做是线性回归的一种特殊情况吧。 1.理论知识 为什么说逻辑回归可以看做是线性回归的特殊情况呢？ 首先是我们的线性回归模型，那么加入我们更替我们的y将y替换为lny，又会如何呢？这被称作‘广义线性模型’。 线性模型有很多，但又一种非常特殊的函数，sigmod函数，当我们把范围扩大，就呈现出阶跃函数的趋势，那么我们能不能用这样的一个特性去进行分类呢？答案是肯定...
2019-04-25 19:51:14
379
原创 机器学习第七篇：Knn、kd树
1.Knn： knn是目前为止接触到的最简单之一的算法，算法很简单，就是求取测试样本距离最近的几个点，然后采用多数表决的规则，将测试样本归为那一类。 算法流程： 计算已知类别数据集中的点与当前点之间的距离 按照距离递增次序排序 选取与当前点距离最小的k个点 确定前k个点所在类别出现的频率 返回前k个点出现频率最高的类别作为当前点的预测分类 def classify0(inX, da...
2019-04-24 10:06:35
171
原创 机器学习第六篇：集成学习AdaBoost
1.理论知识： 集成学习根据学习器之间是否存在依赖关系划分为两类： 学习器之间存在强依赖关系、必须串行生成的序列化方法——Boosting 学习器之间不存在强依赖关系、可同时生成的并行化方法——Bagging和随机森林 这里主要介绍Boosting的主要代表Adaboost。 Adaboost采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用。 算法如下：...
2019-04-23 11:28:36
315
原创 决策树的补充：剪枝与CART树
1.剪枝： 预剪枝：对每个节点划分前先进行估计，若当前节点的划分不能带来决策树泛化能力的提升，则停止划分，并将当前节点标记为叶节点（当划分前的性能跟划分后的一样，则也不划分） 后剪枝：先从训练集生成一颗完整的决策树，然后自底向上的对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来性能上的提升，则将子树替换为叶节点（当替换前与替换后性能相同，则保留不进行替换） 预剪枝显著减少了决...
2019-04-22 21:33:27
166
原创 机器学习第五篇，朴素贝叶斯
在学习朴素贝叶斯的过程中我接触到了一个新的概念，生成模型和判别式模型。 究竟什么是生成模型，什么是判别式模型呢，在我的个人理解当中： 判别模型：就是通过学习，得到一个分类面（即学得一个模型），用该分类面来区分不同的数据分别属于哪一类 生成模型：生成模型是学得各个类别各自的特征（即可看成学得多个模型），可用这些特征数据和要进行分类的数据进行比较，看新数据和学得的模型中哪个最相近，进而确定新数据...
2019-04-17 21:29:01
159
原创 机器学习第四篇：SVM，SMO算法的实现
这两天摸索了SVM，刚开始的时候接触SMO的时候就很懵，但是我有机器学习三大法宝护体，最终还是搞懂了一些。 前面的细节部分就不予阐述了，直接从SMO算法部分开始讲起： 下面讨论具体方法： (1) ...
2019-04-12 21:50:50
561
原创 机器学习小插曲：几种常见的优化方法，梯度下降、牛顿法、拟牛顿以及共轭梯度法
1.梯度下降法： 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法是寻找当前点下降最快的方向。 梯度下降就是希望寻找我们的最优解，也就是希望，然后根据我们的泰勒公式展开： ,欲满足,那么可以选择： ...
2019-04-10 12:05:34
525
原创 机器学习学习第三篇：BP神经网络
根据配套的教材：西瓜书 首先整个流程就是先是前向传输，再是反向传播，根据最后的输出值与实际值的差距来更改我们的阈值（在实际代码中用biases表示）和权值，利用梯度下降法找到我们的最优解。 我们利用这个模型来解释整个过程，我们采用sigmod函数讲隐藏层和输出层的输入转化为输出。 在西瓜书里面每一层的输出就是sigmod（输入-阈值），输入呢就是x1，x2，x3乘以相应的权值的和，而...
2019-04-08 11:28:00
708
原创 机器学习第二篇：决策树算法
决策树的基础部分还是很简单易懂的，但是剪枝处理和多决策问题我现在还没有接触到。我也是个初学者，从初学者角度写的，大佬就绕道了吧。 我们决策树的划分都是建立在熵的基础之上的，首先是熵的计算公式： (其中k是我们的种类编号） 然后还有一个很重要的概念--信息增益: ...
2019-04-02 21:10:59
276
原创 概率与似然
概率和似然到底什么关系呢？就跟你推导公式一样，推导公式有两种方法，一种正推，一种逆推。而概率和似然就是这样的一个关系。概率就是我们的正推，似然就是逆推从结果出发。 先举一个生动的小例子：比如说 我们现在有两个黑盒子，1号黑盒子装了99个白球一个黑球，2号黑盒呢刚好相反，打乱两个黑盒，随机从一个黑盒里面拿出一个球 ， 发现是黑球，那么正常人应该都想着是从2号黑盒拿出来的，毕竟概率非常大呀。而这样的...
2019-03-31 13:00:05
453
原创 机器学习记录第一天：简单的线性回归
菜鸟一个，希望每天记录自己所得，以便以后可以嘲笑自己 今天学了线性回归，公式什么的都推导了一遍，但是感觉还是编程会学的更快。 虽然python有线性回归的包，可以使用但是为了加深理解还是手动来一遍把。 在网上随机找了一组数据： 现在我们就需要利用这样一组数据来进行预测。 首先利用我们的最小二乘来写出我们的预测函数： def predictfunc(x, w, b): y ...
2019-03-30 21:28:42
193
转载 python中常见读取图片的方法区别
PIL： PIL.Image.open 不直接返回numpy对象，可以用numpy提供的函数进行转换，可以用load访问rgb matplotlib： matplot.image.imread 从名字中可以看出这个模块是具有matlab风格的，直接返回numpy.ndarray格式通道顺序是RGB，通道值默认范围0-255。 opencv： cv2.imread 使用opencv读取...
2019-03-28 22:10:40
566
原创 嵌入式上位机图像分割心得
今天老师临时交给我的任务，本来需要在下位机完成，但是由于希望加快速度，就把比较耗时的分割步骤放在上位机进行处理。 进行图像分割我采用的是twopass方法，具体算法的细节部分大家可以百度一下。 因为是图片处理，建议大家最好不要使用不同的图片处理模块在一个程序当中，那样很容易造成混乱。 首先肯定是需要读取图片，我整个程序采用PIL包。并且在这里分享一个具体介绍PIL的一个博客：https://...
2019-03-28 22:04:13
491
原创 八大排序之python
转载自：https://www.cnblogs.com/MrFiona/p/5978491.html 介绍之前先了解一下稳定与不稳定的概念： 在待排序的文件中，若存在多个关键字相同的记录，经过排序后这些具有相同关键字的记录之间的相对次序保持不变，该排序方法是稳定的；若具有相同关键字的记录之间的相对次序发生改变，则称这种排序方法是不稳定的。 冒泡排序：（稳定） 换句话说也就是小的往上冒，大的往下沉...
2019-03-26 10:54:52
176
原创 Python封装、继承、多态
一、封装 对外面隐藏对象的属性和方法，仅提供接口。 二、继承 继承就是说定义的一个新类，继承现有的类，获得现有类的非私有属性、方法。 私有，就是前面加两个下划线的（int）这种，他在外部无法调用，继承他的子类也不能。被继承的那个类称为基类、父类。 特点：在继承中，基类的构造方法（init()方法）不会被自动调用，需要在子类的构造方法中专门调用。在调用基类的方法时需要加上基类的类名前缀，并带上sel...
2019-03-25 20:32:55
272
原创 anaconda下安装PyQt5 与 eric6
新版本的anaconda 下载之后的spyder都自带PyQt5 但是 qscintilla 缺存在一定的问题，我使用的方法是： 首先新建一个低于3.7版本的python环境，我选择的是3.5 至于怎么切换我的博客里面写的有。 在老版本的python环境下（spyder也要下载好）我们首先安装qscintilla 使用指令：` conda activate py35 pip install qs...
2019-03-22 17:23:26
979
转载 anaconda切换不同版本的py
转载自：https://blog.csdn.net/weixin_39278265/article/details/82982937 当你下载好最新版本的anaconda后，但是很多库都并没有推出适合最新版本的python，因此需要两个版本的python至关重要。 比如我现在的python版本是3.7，但是我想安装一个python 3.6的环境，因为我最近在安装pythonnet但是并没有适合版本...
2019-03-15 18:57:21
1316
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人