ML学习笔记
文章平均质量分 91
ML算法介绍、辨析、实现
roguesir
非、典型算法攻城狮
展开
-
【推荐算法】ctr预估模型总结(LR、FM、FFM、NFM、AFM、WDL、DCN、DeepFM、FwFM、FLEN)
前言FM系列模型目前已经普遍应用于推荐系统中,网上相关文章和介绍也很多,本文将FM系列论文做一次总结。原创 2021-06-13 22:28:33 · 3233 阅读 · 4 评论 -
【ML Note】机器学习中的 bias & variance
机器学习模型中的误差主要分为两个部分:bias和variance,一般情况下,模型需要在bias和variance之间取得一个平衡。bias小的模型,variance一般大;variance小的模型,bias一般大。更好的理解bias和variance的关系能够帮助我们更好的应付模型的过拟合和欠拟合问题。BiasBias表示的就是模型预测的值和真实值之间的距离的期望。所以我们会通过建立多个模型(如使用不同的数据子集)来估计这个误差期望值。Bias代表着算法的拟合能力。偏差大的模型,它通常不怎么从训练原创 2021-06-01 16:22:16 · 595 阅读 · 0 评论 -
【R笔记】R机器学习(十四)——BP神经网络
前言本文基于R实现BP神经网络用以预测,输入属性有三个,输出属性一个,隐藏层设置20个神经元,数据如下:代码library(grid) library(MASS)library(neuralnet) #加载相应的程序包,这里用的是neuralnet,还可以用nnet、tensorflow实现p <- matrix(c(80.0,90.0,180.0,140.0,3.0,8.0,2...原创 2017-08-02 11:23:07 · 27119 阅读 · 12 评论 -
【R笔记】R机器学习(三)——多元回归
R机器学习(三)——多元回归原创 2017-09-05 08:52:06 · 749 阅读 · 0 评论 -
【scikit-learn】机器学习(一)——一元回归模型
数据集2001-2010年港口吞吐量随年份的变化,以此建立一元回归模型,实现对2011年的趋势预测代码import numpy as npfrom sklearn import linear_modelimport matplotlib.pyplot as pltx_train = [[2001],[2002],[2003],[2004],[2005],[2006],[2007],[200...原创 2017-09-07 18:06:21 · 806 阅读 · 0 评论 -
【Python】scikit-learn机器学习(二)——BP神经网络
scikit-learn机器学习(二)——BP神经网络原创 2017-09-07 21:13:17 · 10786 阅读 · 1 评论 -
【scikit-learn】机器学习(八)——K-means聚类
数据描述KMeans函数介绍代码实现import numpy as npfrom sklearn.cluster import KMeans def loadData(filePath): fr = open(filePath,'r+') lines = fr.readlines() retData = [] retCityName = [] fo...原创 2017-10-18 15:38:50 · 1068 阅读 · 2 评论 -
【Trick】核技巧(kernel trick)
核技巧原创 2017-12-14 16:18:54 · 1773 阅读 · 0 评论 -
【Trick】机器学习特征工程处理(一)
前言机器学习特征工程处理系列博客为博主学习相关视频教程以及结合平时接触到的特征工程处理方法,总结出的一些处理技巧,本篇博客介绍数据格式化、数据清洗、数据采样等,我在之前有总结过一篇博客介绍数据预处理的常用方法,对其中的部分操作有涉及,如有需要,可参考本篇博客。数据格式化存储格式(一)时间戳/时间段/时间记录标准 对于同类属性,比如时间属性,表达形式不同,但要采取同样的记录原创 2018-01-27 21:32:21 · 1342 阅读 · 0 评论 -
【Tensorflow】Python实现神经网络回归
环境macOS,python3.6,tensorflow1.1.0回归问题 年份 事故起数 死亡人数 受伤人数 直接财产损失(万元) 2003 80 3 50 11 2004 90 8 70 12.5 2005 180 20 120 20 2006 140 16 9...原创 2018-02-27 00:02:02 · 10921 阅读 · 10 评论 -
【ML算法】监督学习——逻辑回归
前言挺久没更新博客了,满是愧疚,最近一直在鼓捣数据,感觉没什么可写的,于是翻出之前没有完成的机器学习算法,继续完善~概述逻辑回归(Logistic Regression,LR),虽然叫回归,但实际上是一种分类算法,主要处理二分类问题,LR模型简单,但应用非常广,很多公司都是应用LR解决工业界问题,因为简单,模型生成后,处理速度快,可以满足工业需求。 逻辑回归的主要用途: (1)解决...原创 2018-03-19 19:42:52 · 1806 阅读 · 0 评论 -
【ML算法】无监督学习——关联规则Apriori算法
前言这一系列文章将介绍各种机器学习算法原理,部分算法涉及公示推导,我的博客中另有板块介绍基于python和R实现各种机器学习算法,详情见置顶的目录。本文介绍Apriori。关联规则关联规则(Association Rules,AR),这种原理最初应用于购物篮发现,实际上就是从大量的已知购物信息中提取出具有关联性而人们平时又不会注意到的规则,像经典的啤酒与尿布、蛋挞与飓风的案例都是对...原创 2017-12-07 16:44:30 · 1029 阅读 · 0 评论 -
【scikit-learn】机器学习(四)——逻辑回归
前言这一系列文章将介绍各种机器学习算法,部分算法涉及公示推导,我的博客中有另一个板块介绍基于python和R实现各种机器学习算法,详情见置顶的目录,这篇文章将介绍逻辑回归。算法介绍逻辑回归(Logistic Regression),是一种分类算法,常用与解决而分类问题,也可以多个模型组合解决多分类问题。...原创 2018-01-10 20:05:46 · 542 阅读 · 0 评论 -
【ML算法】监督学习——决策树ID3算法
前言ID3算法是决策树的经典,也是基础算法,本文将详细介绍ID3算法。算法详解ID3算法的核心是在决策树各个节点上通过计算每个属性的信息增益来进行分枝节点的选择,我在另一篇文章中已经介绍来信息增益,这篇文章将直接介绍算法。ID3算法是迭代算法,通过计算每个属性的信息增益不断生成决策树分枝,最终将样本标签按照各个属性分到各个叶子结点,生成树状结构。以一个经典例子解释:代码链接参考文献周志华《机器学习...原创 2017-08-03 15:55:57 · 756 阅读 · 0 评论 -
【ML算法】监督学习——KNN算法
前言好久没有更新博客啦,罪过罪过,最近生病了,一直在休养,希望广大程序员朋友们一定要注意身体,少熬夜呀~今天又重新温习了一边KNN算法,整理出这篇文章。算法介绍KNN(k-nearest neighbor,k近邻)是一种基本的分类与回归算法,是监督学习算法,这个算法并不具有显示的学习过程,其输入为特征向量,输出为实例类别,输出的类别可以为多类,最终通过多数表决的方式进行预测。k值的...原创 2017-11-20 11:14:06 · 2883 阅读 · 1 评论 -
【ML算法】无监督学习——K-means聚类
前言这一系列文章将介绍各种机器学习算法,部分算法涉及公示推导,我的博客中有另一个板块介绍基于python和R实现各种机器学习算法,详情见置顶的目录。K-means算法聚类算法是一种无监督的机器学习算法,通过距离测度实现样本点的归类,算法的最终目的是使得聚簇内部样本点相似度最大,聚簇间样本点相似度最小,常见的聚类算法有k-means聚类、层次聚类、DBCAN聚类等,本文介绍K-mea...原创 2017-11-25 16:25:18 · 1764 阅读 · 1 评论 -
【ML算法】监督学习——线性回归
前言这一系列文章将介绍各种机器学习算法,部分算法涉及公示推导,我的博客中有另一个板块介绍基于python和R实现各种机器学习算法,详情见置顶的目录,这篇文章将介绍线性回归。算法介绍线性回归(Linear Regression),说白了就是高中时候学的一元拟合,相对简单的一种表达如下: ŷ =θ0+θ1x1+θ2x2+⋯+θnxny^=θ0+θ1x1+θ2x2+⋯+θn...原创 2017-11-26 15:02:59 · 1225 阅读 · 0 评论 -
【Trick】数据预处理的常用方法
前言本篇博文将介绍数据预处理的常用方法,这些方法仅根据本人接触过的数据挖掘项目中总结而来,如有疏漏或不合适的,望大佬们提出。数据预处理与我们从课本中获得的数据集不同,实际应用中遇到的数据集常常是带有噪声、带有缺失值、不符合相应的数据挖掘模型的,我们首先要做的事情就是对数据进行预处理,据统计,在整个数据挖掘过程中,数据的预处理过程常常会占到整个生命周期的60%-70%,还经常有一句话...原创 2017-11-26 21:01:11 · 1936 阅读 · 0 评论 -
【ML算法】监督学习——支持向量机
### 前言这一系列文章将介绍各种机器学习算法,部分算法涉及公示推导,我的博客中另有板块介绍基于python和R实现各种机器学习算法,详情见置顶的目录。本文介绍支持向量机。我的GitHub上面也会有详细介绍,地址为:https://github.com/roguesir.### 算法介绍支持向量机(Support Vector Machine,SVM),是一种杰出的机器学习算法,...原创 2017-11-28 21:36:42 · 1390 阅读 · 0 评论 -
相似图片搜索算法介绍
相似图片搜索算法介绍原创 2017-08-21 15:16:14 · 13497 阅读 · 2 评论 -
【ML笔记】LR和SVM的异同
LR和SVM的异同原创 2017-07-27 10:38:59 · 2509 阅读 · 0 评论 -
【ML笔记】决策树ID3和C4.5算法的异同
决策树ID3和C4.5算法的异同原创 2017-08-01 08:56:27 · 6305 阅读 · 0 评论 -
【ML笔记】信息增益、Gini、信息增益率
信息增益、Gini、信息增益率原创 2017-08-03 15:50:44 · 12346 阅读 · 1 评论 -
【ML笔记】决策树剪枝
决策树剪枝原创 2017-08-04 17:48:38 · 1814 阅读 · 0 评论 -
【ML笔记】梯度提升决策树(GBDT)和随机森林(RF)的异同
梯度提升决策树(GDBT)和随机森林(RF)的异同原创 2017-07-27 10:29:56 · 9261 阅读 · 0 评论