![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 66
xiangkej
这个作者很懒,什么都没留下…
展开
-
机器学习 (一)
http://blog.csdn.net/u011534057原创 2017-10-31 16:20:02 · 178 阅读 · 0 评论 -
sk-learn学习之pca(3)
主成分分析(PCA)是最常见的降维算法。在 PCA 中,我们要做的是找到一个方向向量(Vector direction),当我们把所有的数据都投射到该向量上时,我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量,而投射误差是从特征向量向该方向向量作垂线的长度。https://scikit-learn.org/stable/modules/generated/sklear...原创 2019-08-12 15:30:59 · 357 阅读 · 0 评论 -
sk-learn学习之kmeans聚类(2)
K-均值是最普及的聚类算法,算法接受一个未标记的数据集,然后将数据聚类成不同的组。K-均值是一个迭代算法,假设我们想要将数据聚类成 n 个组,其方法为:1.首先选择原创 2019-08-12 15:26:19 · 327 阅读 · 0 评论 -
sk-learn学习之svm(1)
svm是很强大的分类器,可以用于监督学习,半监督/无监督学习中,在工业界和学术界都有广泛的应用。1. svm一个简单的二分类例子https://scikit-learn.org/stable/modules/svm.html#svm-classification#二分类from sklearn import svmX = [[0, 0], [1, 1]] # [n_samples...原创 2019-08-12 15:08:16 · 198 阅读 · 0 评论 -
torch之多层感知机
使用pytorch实现简单感知机,通过多个特征量预测一个连续值。准备数据 adversing.csv.https://github.com/xiangkejun/machine_learning_xx/blob/master/tf2_xx/advering.csvmlp.py#encoding=utf-8# 多层感知器# 3个特征值 推出一个连续值结果impor...原创 2019-08-14 21:18:58 · 454 阅读 · 0 评论 -
torch之逻辑回归二分类
使用pytorch做简单的2分类。准备数据2fenlei.csvhttps://github.com/xiangkejun/machine_learning_xx/blob/master/tf2_xx/2fenlei.csv创建 logtic_gress.py#encoding=utf-8# 多层感知器# 3个特征值 推出一个2分类结果import pandas as...原创 2019-08-14 21:16:45 · 821 阅读 · 0 评论 -
torch之线性拟合
使用pytorch 拟合出一条简单直线。准备数据 xy.csv.https://github.com/xiangkejun/machine_learning_xx/blob/master/tf2_xx/xy.csv准备 line_gress.py#encoding=utf-8# 拟合出一条直线import pandas as pdimport matplotlib...原创 2019-08-14 21:13:57 · 2859 阅读 · 0 评论 -
(六) 6.1 Neurons Networks Representation
面对复杂的非线性可分的样本是,使用浅层分类器如Logistic等需要对样本进行复杂的映射,使得样本在映射后的空间是线性可分的,但在原始空间,分类边界可能是复杂的曲线。比如下图的样本只是在2维情形下的示例,假设有100维度,即特征数目是100,若使用logistic来做分类,对于这种线性不可分的情形,要对特征进行各种形式的组合映射,然后用映射后扩充的特征进行分类,可能会增加大量的参数,计算复杂性可想...转载 2018-08-27 12:32:46 · 143 阅读 · 0 评论 -
(五)用正则化(Regularization)来解决过拟合
1 过拟合过拟合就是训练模型的过程中,模型过度拟合训练数据,而不能很好的泛化到测试数据集上。出现over-fitting的原因是多方面的:1) 训练数据过少,数据量与数据噪声是成反比的,少量数据导致噪声很大2 )特征数目过多导致模型过于复杂,如下面的图所示:看上图中的多项式回归(Polynomial regression),左边为模型复杂度很低,右边的模型复杂度就过高,而中间的...转载 2018-08-26 21:22:24 · 650 阅读 · 0 评论 -
(四)Logistic Regression
1 线性回归回归就是对已知公式的未知参数进行估计。线性回归就是对于多维空间中的样本点,用特征的线性组合去拟合空间中点的分布和轨迹,比如已知公式是y=a∗x+b,未知参数是a和b,利用多真实的(x,y)训练数据对a和b的取值去自动估计。估计的方法是在给定训练样本点和已知的公式后,对于一个或多个未知参数,机器会自动枚举参数的所有可能取值,直到找到那个最符合样本点分布的参数(或参数组合)。也就是给定...转载 2018-08-26 18:44:40 · 309 阅读 · 0 评论 -
(三)用Normal Equation拟合Liner Regression模型
继续考虑Liner Regression的问题,把它写成如下的矩阵形式,然后即可得到θ的Normal Equation. Normal Equation: θ=(XTX)-1XTy 当X可逆时,(XTX)-1XTy = X-1,(XTX)-1XTy其实就是X的伪逆(Pseudo inverse)。这也对应着Xθ = y ,θ = X-1y考虑特殊情况 XTX 不可逆...转载 2018-08-26 18:13:01 · 290 阅读 · 0 评论 -
(二)深入梯度下降(Gradient Descent)算法
一直以来都以为自己对一些算法已经理解了,直到最近才发现,梯度下降都理解的不好。1 问题的引出对于上篇中讲到的线性回归,先化一个为一个特征θ1,θ0为偏置项,最后列出的误差函数如下图所示:手动求解目标是优化J(θ1),得到其最小化,下图中的×为y(i),下面给出TrainSet,{(1,1),(2,2),(3,3)}通过手动寻找来找到最优解,由图可见当θ1取1时,与y(i)完全重...转载 2018-08-26 14:49:19 · 184 阅读 · 0 评论 -
(一)线性回归与特征归一化(feature scaling)
吴恩达机器学习视频https://study.163.com/course/courseMain.htm?courseId=1004570029 线性回归是一种回归分析技术,回归分析本质上就是一个函数估计的问题(函数估计包括参数估计和非参数估计),就是找出因变量和自变量之间的因果关系。回归分析的因变量是应该是连续变量,若因变量为离散变量,则问题转化为分类问题,回归分析是一个有监督学习问...转载 2018-08-26 14:45:22 · 1218 阅读 · 0 评论 -
torch之函数求解
主要求解函数最小值问题函数1: (x-5)**2函数2:x**2+y**2-2*x*y-25创建 optimizer_func.py#encoding=utf-8# 求函数取的最小值 的 ximport numpy as np from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as ...原创 2019-08-16 18:35:40 · 350 阅读 · 0 评论