![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
蜗牛遥遥
不畏艰险,勇往直前
展开
-
机器学习算法--决策树与随机森林
决策树的算法比较简单主要分为以下部分:一、决策树基本概率以及计算(ID3)1、决策树定义决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型。比如我们会问‘今天出去玩吗’,那么室外的温度,天气都会影响我们做决策的过程,如果‘温度适中’,我们就再看‘天气如何’。决策树学习的目地:产生一颗泛化能力强,处理未见示例强的决策树2、决策...原创 2019-02-28 17:05:51 · 545 阅读 · 0 评论 -
机器翻译以及注意力机制
注意力机制就是让计算机模拟人类大脑,在看东西的时候,将注意力集中在比较感兴趣的物体上。1. 引入注意力机制的目的:1、计算能力的限制:越复杂的模型才能记住更多的信息,但是当前计算能力依然是限制人工神经网络发展的瓶颈2、优化算法的限制:虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些,有效缓解模型复杂度和表达能力之间的矛盾;但是,信息“记忆”能力并不高2. 按照...原创 2019-05-27 20:30:46 · 1373 阅读 · 0 评论 -
线性回归逻辑回归以及梯度下降算法讲解
量线性回归指只含有一个特征/输入变量x单变量线性回归表示方法:单变量的代价函数J(均方误差):我们现在用数学公式总结一下我们的问题,即我们的目的是找到合适的θ0,θ1使得代价函数最小,这时候我们列出所有的θ0,θ1 对应的J值,得到一个三维空间图。或者得到这种二维空间图在实际的求Loss最小值中,不可能像我们看到的三维图或者二维图那么直观,我的理解是可能有很多的山组合到一起,...原创 2019-04-11 16:17:27 · 3654 阅读 · 0 评论 -
常见分布总结-高斯分布、伯努利分布、泊松分布、几何分布、beta分布
概率分布概率分布是指用于表述随机变量取值的概率规律,包括连续分布和离散分布。下面作了这些概率分布的一个思维导图。文章目录概率分布1、离散概率分布1.1、两点分布2.2、 二项分布1.3、几何分布1.4、超几何分布1.5、泊松分布2、连续概率分布2.1、均匀分布2.2、正太分布2.3、beta分布2.4、柯西分布3、参考资料概率分布1、离散概率分布1.1、两点分布意义:指的是一次实...原创 2019-04-01 17:53:05 · 16583 阅读 · 2 评论 -
k-means聚类算法总结
最近看了聚类算法,所以根据自己的理解写了一个思维导图。同时也自己根据书中的代码写了k-means算法的程序,可以点这里原创 2019-03-31 16:07:06 · 1024 阅读 · 0 评论 -
安装cuda 报错nvcc fatal : Cannot find compiler 'cl.exe' in PATH
当我安装好了cuda之后,查看cuda是否安装成功,输入:nvcc -V就会报错:nvcc fatal : Cannot find compiler ‘cl.exe’ in PATH我在这里安装的是Visual Studio 2015,报错原因就是找不到VS中的cl.exe文件。一般cl.exe的地址是在:你安装的Visual Studio \VS\VC\bin\amd64里面,如果是默认安...原创 2019-04-04 14:49:06 · 41528 阅读 · 6 评论 -
K-means聚类算法之程序实现-3维像素级分割
最近看了k-means算法,网上这个算法很多都是用来分割二维图片的,所以想尝试用这个算法做一下三维图片的分割。那么我们先来介绍一下二维图片的分割:原理是这样的,我们把二维图片中的每一个像素点的值作为一个特征值,如果是彩色图片,那么一个像素点就可以由3个特征值组成,因为有三个颜色通道。代码:from scipy.cluster.vq import *from scipy.misc impo...原创 2019-04-04 11:22:00 · 2399 阅读 · 0 评论 -
聚类算法之k-means算法程序实现
最近看了一下聚类算法,然后根据书上的代码实现了用k-mean分类鸢尾花数据集。书中的算法:from sklearn.datasets import load_irisimport pdbimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitimport randomimp...原创 2019-03-29 21:20:09 · 1964 阅读 · 0 评论 -
机器学习之adaboost代码实现
本博客主要实现adaboost算法依据以下数据集,如果关于adaboost算法有一些理论知识还不是很明白的,可以参考一下这篇博客程序是我自己根据公式编写的,如果有错误的地方欢迎指正。目前感觉代码能力很一般,以后还会进一步对这个程序进行修改。采用机器学习书中的算法步骤:第一步:定义标签和数据集def dataset():data=[0,1,2,3,4,5,6,7,8,9]label...原创 2019-03-13 19:15:31 · 1770 阅读 · 0 评论 -
机器学习之XGboost代码实现
XGboost代码实现XGboost的原生语言是c++,所以它的运行速度比较快。这里将会举例介绍一下python中如何调用XGboost,如果想了解XGboost的理论部分,可以参考这篇博客首先要安装XGboost库pip install XGboost数据集:以鸢尾花数据集为例例1# /usr/bin/python# -*- encoding:utf-8 -*-from sk...原创 2019-03-18 14:18:57 · 11815 阅读 · 2 评论 -
机器学习之SVM支持向量机
机器学习之SVM支持向量机SVM是由模式识别中广义肖像算法发展而来的分类器。支持向量的概念在二十世纪六十年代就已经出现,但支持向量机在1995年才正式发表,并由于在文本分类任务中性能卓越,随后就开始大火大火啦——直到2012年深度学习神经网络的发展才将这团火给慢慢扑灭,当然目前应用它的地方还是挺多的。所有呢,支持向量机是机器学习中比较重要的算法,也是面试中会常被问到的问题。支持向量机包括:线...原创 2019-03-21 17:20:07 · 1245 阅读 · 0 评论 -
机器学习之集成学习1
文章目录1、boosting算法1.1Adaboost算法1.2GB( Gradient boosting)算法1.3GBDT梯度提升决策树1.4XGboost1.5、Adaboost、GB、GBDT与XGBoost几种算法的比较2、bagging算法3、随机森林(Random Forest,RF)4 问题4.1GBDT和随机森林比较4.2分类树和回归树的区别##集成学习:最直白的理解:人多...原创 2019-03-12 19:04:17 · 1213 阅读 · 0 评论 -
机器学习实战之k近邻算法
k近邻算法:求两者的距离:即测试集和每个有标签的训练集求距离,将训练集得出的距离排序,取前面k个,那k个中哪个标签序列最多,就划分为那一类。比如:训练集是二维数组[1.0,1.1],[1.0,1.0],[0.1,0],[0,0.1]标签 labels=[‘A’,‘A’,‘B’,‘B’]测试集[0.2,0.1]k=3首先计算测试集和训练集之间的距离点[0.2,0.1]与[1...原创 2019-02-26 19:49:00 · 273 阅读 · 0 评论 -
常见的损失函数,代价函数以及优化算法汇总
在机器学习和深度学习中,我们通常会需要掌握三个步骤就可以完成了,拿起数据(特征),搭上模型(目标函数,损失函数,代价函数),不断优化(优化函数-梯度下降,adam,动量-找到最优的W),就可以完成了1. 损失函数、代价函数与目标函数损失函数(Loss Function):是定义在单个样本上的,是指一个样本的误差。代价函数(Cost Function):是定义在整个训练集上的,是所有样本误差的...原创 2019-07-17 15:33:40 · 4660 阅读 · 0 评论