![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning
nobody~
这个作者很懒,什么都没留下…
展开
-
K-Means算法的10个有趣用例
最近看到的一篇不错的文章,转自云栖社区。K-means算法具有悠久的历史,并且也是最常用的聚类算法之一。K-means算法实施起来非常简单,因此,它非常适用于机器学习新手爱好者。首先我们来回顾K-Means算法的起源,然后介绍其较为典型的应用场景。起源1967年,James MacQueen在他的论文《用于多变量观测分类和分析的一些方法》中首次提出 “K-means”这一术语。19...转载 2018-04-04 12:07:43 · 683 阅读 · 0 评论 -
机器学习之必知开源数据集
之前看到的不错的文章,玩机器学习数据是关键,有了这些东西,你就不必再为没有数据而苦恼。 转自:https://www.toutiao.com/i6432197108580745730/机器学习的研究与实现,离不开大数据。知晓通用的开源数据集,一方面可以验证自己算法,而另一方面也可以与其他算法进行比较。不少开源工具和框架都会含有默认的数据集,使学习者能很快上手。比如scikit-learn...转载 2018-04-04 12:25:29 · 3037 阅读 · 0 评论 -
机器学习中目标函数、损失函数以及正则项的通俗解释
前言:今天看到一篇很精简的文章来说明目标函数、损失函数以及正则项是什么。以下是文章正文。 转自:https://xiaozhuanlan.com/topic/7504682391什么是目标函数?定义是:指所关心的目标与相关的因素的函数关系。举个例子,假如我们想要预测公司楼下手抓饼店明天能卖多少张手抓饼,已知过去10天每天卖多少,以及每天的天气情况,是否有节假日,和手抓饼店老板和老...转载 2018-05-30 16:46:19 · 4188 阅读 · 2 评论 -
机器学习中的数学基础相关知识总结
以下为自己在学习机器学习的过程中总结的所需的一些基本的数学知识,如有不足或错误请指出,会保持不断的更新。1、导数(曲线变化的快慢)、二阶导数(曲线斜率变化的快慢特别是反映曲线的凸凹性)的概念。 2、常用的导数公式: 3、微分和积分的数学含义:微分对应的是导数、积分对应的是面积。除此之外要了解对应的常见的计算操作如分部积分操作等。 4、泰勒公式及含义 一句话说明泰勒公式的含义:用...原创 2018-08-19 16:52:09 · 733 阅读 · 0 评论 -
机器学习之数理统计与参数估计的相关知识总结
1、知道期望/方差/偏度/峰度,协方差和相关系数,独立和不相关等这些概念是什么。期望(均值):离散型和连续型。(求面积) 方差:表示数据的离散程度。对应的表达式:E(x2)-E2(x) 偏度的数学含义:衡量随机变量概率分布的不对称性。 峰度的数学含义:是概率密度在均值处峰值高低的特征。 标准差:方差开平方 协方差:表示两个变量的离散程度。是方差的一般形式。协方差是两个...原创 2018-08-26 22:59:16 · 780 阅读 · 0 评论 -
机器学习之线性代数总结
目录1、SVD是什么、表达式是什么及对应的数学含义;2、了解方阵、行列式的含义(方阵即矩阵,行列式即矩阵的计算结果)3、了解代数余子式的概念4、伴随矩阵的概念5、知道方阵的逆的公式、范德蒙行列式6、知道矩阵的乘法实际上对应的是一个维度的空间到另一维度空间的映射7、知道矩阵的秩的概念8、知道系数矩阵、正交阵9、掌握特征值和特征向量目录1、SVD是什么、表达...原创 2018-08-31 14:08:33 · 1270 阅读 · 0 评论 -
机器学习之凸优化原理推导及相关知识总结
1、了解凸集和仿射集的基本概念。凸集:在凸集内部的两个点之间的线段仍在图形内,则称这个图形为凸集。 仿射集:通过集合中任意两个不同点的直线仍然在这个集合内则称为这个集合的仿射集。 仿射集说的是直线,凸集说的是线段。 2、知道几何体的向量表达。两个θ+(1-θ)=1代表的是两个点之间的关系是直线关系,如果不等于1则代表是其他的非线性的关系。 3、了解超平面和半空间的概...原创 2018-09-01 13:43:48 · 1538 阅读 · 0 评论 -
机器学习之回归总结
目录1、了解线性回归2、了解似然函数3、了解交叉验证的原理4、梯度下降算法1、批量梯度下降算法(Batch Gradient Descent,简称BGD):2、随机梯度下降算法(SGD):3、折中:5、了解一些参数指标6、了解Logistic回归7、了解最小二乘法目录1、了解线性回归当只有一个变量的时候,可以表示为下面的式子。 当为多个特征...原创 2018-09-02 16:52:05 · 1249 阅读 · 0 评论 -
机器学习之决策树与随机森林
目录1、了解熵、条件熵、互信息的概念及公式1.1、熵1.2、条件熵1.3、信息增益/互信息2、了解决策树2.1、了解决策树的概念和特点以及和熵的关系2.2、了解树生成的过程2.3、了解决策树三种算法的区别2.4、了解决策树的损失函数2.5、了解解决决策树过拟合的方法2.6、了解后剪枝的过程3、了解Bagging和随机森林4、掌握样本不均衡常用的处理方法...原创 2018-09-02 22:30:02 · 776 阅读 · 0 评论 -
机器学习之聚类算法的原理推导及相关知识总结
1、知道几个关于”差”的概念2、理解相似度度量的各种方法和相互关系2.1、欧氏距离2.2、jaccard相似系数2.3、余弦相似度2.4、Pearson相似系数3、掌握掌握K-Means算法3.1、知道聚类的思想3.2、K-Means算法原理3.3、知道K-Mediods聚类3.4、如何选取K-means的初始值3.5、K-means的目标函数4、知道聚类的衡量...原创 2018-09-15 17:00:54 · 1851 阅读 · 0 评论 -
机器学习之支持向量机(SVM)总结
目录:1、知道SVM相关的各种概念2、知道目标函数、损失函数、正则项的意义2.1、目标函数2.2、损失函数2.3、正则化(添加噪音避免过拟合)3、了解SVM算法原理4、知道SVM的目标函数5、知道SVM的损失函数以及公式6、知道SVM支持向量机的计算过程6.1、推导过程:6.2、推导实例7、了解核函数相关知识8、了解SVM算法的调参技巧目录:...原创 2018-09-12 20:39:35 · 1979 阅读 · 0 评论 -
机器学习之EM算法的原理推导及相关知识总结
文章目录1、知道先验概率和后验概率2、了解高斯混合模型GMM3、通过最大似然估计推导EM算法的过程的实例4、EM算法5、知道pLSA模型1、知道先验概率和后验概率先验概率(prior probability)是指根据以往经验和分析得到的概率(理解为自定义概率)。而后验概率是在考虑了一个事实之后的条件概率。2、了解高斯混合模型GMMEM是K-means的推广以下的两个问题都是属于无监督学习...原创 2018-09-17 20:34:16 · 1232 阅读 · 0 评论 -
机器学习之提升算法
1、知道提升、梯度提升是什么意思1.1、提升1.2、梯度提升1.3、了解提升算法的过程2、残差与残差平方和(residual sum of squares)3、了解GBDT算法4、了解XGBoost算法5、了解Adaboost算法5.1、Adaboost算法的原理5.2、例子6、偏差和方差1、知道提升、梯度提升是什么意思1.1、提升每一步产生一...原创 2018-09-10 20:07:09 · 999 阅读 · 0 评论 -
机器学习之朴素贝叶斯算法的推理及相关知识总结
1、朴素贝叶斯公式1.1、贝叶斯公式的应用2、了解贝叶斯网络2.1、知道什么是贝叶斯网络贝叶斯网络又称为有向无环图模型,是一种概率图模型,根据概率图的拓扑结构,考察一组随机变量(X1,X2,X3…Xn)及其n组条件概率分布的性质2.2、贝叶斯网络的两种表示形式2.3、掌握全连接的贝叶斯网络的公式p(x1,x2…,xk)=p(xK|x1,…,xK-1)…p(x2|x1)p(x...原创 2018-09-19 20:38:16 · 780 阅读 · 2 评论 -
各种机器学习开源项目精选TOP30
8800个机器学习开源项目为你精选TOP30!授权自AI科技大本营(ID: rgznai100) 本文共图文结合,建议阅读5分钟。 本文为大家带来了30个广受好评的机器学习开源项目。最近,Mybridge发布了一篇文章,对比了过去一年中机器学习领域大约8800个开源项目后,选出30个2017年度优秀的开源项目,包含机器学习开源库、数据库以及其他应用程序,这些项目差不多都是在2017年1转载 2018-02-02 18:14:59 · 1632 阅读 · 0 评论 -
sklearn中常用的数据预处理方法
常见的数据预处理方法,以下通过sklearn的preprocessing模块来介绍;1. 标准化(Standardization or Mean Removal and Variance Scaling)变换后各维特征有0均值,单位方差。也叫z-score规范化(零均值规范化)。计算方式是将特征值减去均值,除以标准差。1sklearn.prepro转载 2017-02-28 14:21:13 · 1088 阅读 · 0 评论 -
初学者在python下使用Ta-lib库时遇到的一些问题及解决办法
由于Ta-lib是一款小众库,所以没有很好的API来说明其中各个函数的使用方法。无奈只能摸着石头过河,一个个试其中函数。期间遇到一些问题希望分享出来对大家有帮助。 问题描述:在使用Ta-lib库时用到的一些简单函数如SMA(),WMA(),EMA()这类方法时,源码中参数有三个,如下图所示: 其中的real就是要输入的数据源,但在操作的过程中经常会爆出这两个的错误: 1:TypeError原创 2017-03-07 15:29:40 · 22566 阅读 · 1 评论 -
在Python2.7下如何安装TA-lib库
最近在做一个关于股票预测大模型,由于想要用Talib库中的方法,来提取各种金融技术指标,所以就下了这个库。但整个过程可谓是一波三折。花费了大半天才搞定这件事。下面来给大家分享一下安装的步骤,省的大家再往这个坑里跳。。。环境介绍:Python2.7+Win10安装步骤:1.执行pip install TA-Lib如果以前没有安装过vc,或者编译工具没在path下面,应该会遇到这个原创 2017-03-07 14:50:04 · 6666 阅读 · 1 评论 -
人工智能专业词汇集
最近看到一篇关于AI专业词汇总结的文章,感觉不错,分享一下。 对应的词汇项目地址为:https://github.com/jiqizhixin/Artificial-Intelligence-Terminology本词汇库目前拥有的专业词汇共计 500 个,主要为机器学习基础概念和术语,同时也是该项目的基本词汇。 假设验证 Letter I ICML 国际机器学习会议 Imp翻译 2017-08-10 14:10:38 · 2751 阅读 · 0 评论 -
机器学习如何解决问题
原文 http://tech.meituan.com/mt-mlinaction-how-to-ml.html 前言前言随着大数据时代的到来,机器学习成为解决问题的一种重要且关键的工具。不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学习来解决实际问题。我们结合美团在机器学习上的实践,进行转载 2017-06-01 22:07:33 · 1177 阅读 · 0 评论 -
机器学习各算法思想(极简版)
线性回归,K-聚类分类,SVM(支持向量机),随机森林,逻辑回归, 因子分析,人工神经网络,AdaBoost,最大熵模型,关联规则,主成分分析,朴素贝叶斯,决策树转载 2017-04-20 20:04:14 · 2091 阅读 · 0 评论 -
机器学习笔记之SVM(SVR)算法
学过SVM后,看了那么多别人的文章,是时候自己总结一波了。权当写的笔记供自己日后再回顾吧。 PS:结合自己在工作过程中(我用SVR做股票预测)用到的知识来写的,不会很全面,若有些知识这里没提及读者可自行查找。 1 概述 支持向量机(support vector machine)是一种分类算法,但是也可以做回归,根据输入的数据不同可做不同的模型(若输入标签为连续值则做回归,若输入标签为分类值则做原创 2017-04-19 17:22:03 · 82479 阅读 · 11 评论 -
Random Forest算法简介
转自JoinQuant量化课堂 一、相关概念分类器:分类器就是给定一个样本的数据,判定这个样本属于哪个类别的算法。例如在股票涨跌预测中,我们认为前一天的交易量和收盘价对于第二天的涨跌是有影响的,那么分类器就是通过样本的交易量和收盘价预测第二天的涨跌情况的算法。分裂:在决策树的训练过程中,需要一次次的将训练数据集分裂成两个子数据集,这个过程就叫做分裂。特征:在分类问题中,输入到分类器中的数据叫做特征转载 2017-04-15 16:22:18 · 1639 阅读 · 0 评论 -
初学大数据之如何选择机器学习算法
最近在国外网站看到一篇不错的文章,所以就翻译过来给大家分享一下。主要介绍初学者怎么选择机器学习算法,希望对各位初学者有帮助。 原文如下: 一个初学者面临各种机器学习算法的典型问题是“我应该使用哪种算法?”问题的答案取决于许多因素,包括:数据的大小,质量和性质。可用的计算时间。任务的紧迫性。你想对数据做什么即使是经验丰富的数据科学家也不能在尝试不同的算法之前,判断哪种算法会最好。我们并不翻译 2017-04-15 16:01:57 · 1063 阅读 · 0 评论 -
Random Forest随机森林概述
引言在机器学习中,随机森林由许多的决策树组成,因为这些决策树的形成采用了随机的方法,因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随机森林时,其实就是让每一颗决策树进行分类,最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。随机森林可以既可以处理属性为离散值的量,如ID3算法转载 2017-03-16 13:26:48 · 1273 阅读 · 0 评论 -
Random Forest算法参数解释及调优
文章介绍了如何对随机森林模型进行参数调优原文来自:http://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/为什么要调整机器学习算法?一个月以前,我在kaggle上参加了一个名为TFI的比赛。 我第一次提交的结果在50%。 我不懈努力在特征工程上花了超过2周的时间,勉强达到20%。 出乎我意料的事是,在翻译 2017-03-10 16:58:49 · 89150 阅读 · 9 评论 -
机器学习中各类算法的优缺点比较
决策树决策树的优点:一、 决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。二、 对于缺失值容忍度高三、 CART能够同时处理数据型和常规型属性。四、 可以产出逻辑表达式。五、 速度快,效率高。六、 拓展性好,部署简单,分布式开发场景较完善。决策树的缺点:一、 ID3对于那些各类别样本数量不一致的数据,在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。(CART采用了G翻译 2017-03-04 20:24:16 · 1714 阅读 · 0 评论 -
SVM和SVR简介
1、支持向量机( SVM )是一种比较好的实现了结构风险最小化思想的方法。它的机器学习策略是结构风险最小化原则 为了最小化期望风险,应同时最小化经验风险和置信范围)支持向量机方法的基本思想:( 1 )它是专门针对有限样本情况的学习机器,实现的是结构风险最小化:在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷,以期获得最好的推广能力;( 2 )它最终解决的是一个凸二次规转载 2017-03-02 09:55:52 · 11942 阅读 · 0 评论 -
Random Forest算法中的参数详解
本篇不是介绍RF的,关于RF网上有很多通俗易懂的解释西瓜书与统计学习方法等很多教材中的解释也都足够本篇仅针对如何使用sklearn中的RandomForestClassifier作记录一、代码怎么写[python] view plain copy print?class sklearn.ensemble.RandomForestC转载 2017-02-28 14:46:05 · 6290 阅读 · 2 评论 -
集成学习之参数调整策略
1 Random Forest和Gradient Tree Boosting参数详解 在sklearn.ensemble库中,我们可以找到Random Forest分类和回归的实现:RandomForestClassifier和RandomForestRegression,Gradient Tree Boosting分类和回归的实现:GradientBoostingClassifier和转载 2017-02-28 14:34:42 · 2863 阅读 · 0 评论 -
机器学习之LDA主题模型算法
文章目录1、知道LDA的特点和应用方向1.1、特点1.2、应用方向2、知道Beta分布和Dirichlet分布数学含义3、了解共轭先验分布4、知道先验概率和后验概率5、知道参数α值的大小对应的含义6、掌握LDA主题模型的生成过程7、知道超参数α等值的参考值8、LDA总结1、知道LDA的特点和应用方向1.1、特点知道LDA说的降维代表什么含义:将一篇分词后的文章降维为一个主题分布(即如20个特...原创 2018-10-01 21:31:04 · 8156 阅读 · 0 评论