机器学习笔记
pxlsdz
冲就完了!
展开
-
10.机器学习——Tips for Training DNN
本文会顺带解决CNN部分的两个问题:1、max pooling架构中用到的max无法微分,那在gradient descent的时候该如何处理?2、L1 的Regression到底是什么东西本文的主要思路:针对training set和testing set上的performance分别提出针对性的解决方法1、在training set上准确率不高:- new activation function:ReLU、Maxout- adaptive learning rate:Adagrad、RM.原创 2020-12-14 22:06:19 · 505 阅读 · 0 评论 -
9.机器学习——Backpropagation
Backpropagation(反向传播),就是告诉我们用gradient descent来train一个neural network的时候该怎么做,它只是求微分的一种方法,而不是一种新的算法Gradient Descentgradient descent的使用方法,跟linear Regression或者是Logistic Regression是一模一样的,唯一的区别就在于当它用在neural network的时候,network parametersθ=w1,w2,…,b1,b2,…\theta.原创 2020-12-03 15:30:37 · 368 阅读 · 0 评论 -
8.机器学习——Deep Learning
深度学习的三个步骤Step1:神经网络(Neural network)Step2:模型评估(Goodness of function)Step3:选择最优函数(Pick best function)Step1:神经网络神经网络有很多不同的连接方式,产生不同的结构(structure)。Fully Connect Feedforward Network(全连接前馈网络)全链接和前馈的理解输入层(Input Layer):1层隐藏层(Hidden Layer):N层输出层(Output原创 2020-12-03 10:36:20 · 355 阅读 · 0 评论 -
7.机器学习——Logistic Regression
上一章的分类可以推导了P(C1∣x)=σ(z)=11+e−zP(C_1|x)=\sigma(z)=\frac{1}{1+e^{-z}}P(C1∣x)=σ(z)=1+e−z1,并且在Gaussian的distribution下考虑class 1和class 2共用Σ\SigmaΣ,可以得到一个线性的z(其实很多其他的Probability model经过化简以后也都可以得到同样的结果)Pw,b(C1∣x)=σ(z)=11+e−z P_{w,b}(C_1|x)=\sigma(z)=\frac{1}{1+原创 2020-11-23 20:58:07 · 244 阅读 · 0 评论 -
6.机器学习——分类
Classification分类要找一个 function 函数,输入对象 x 特征, 输出是该对象属于n个类别中是属于哪一个。How to classification预测回归模型 vs 概率模型分类当作回归硬解。 举一个二分类的例子,假设输入神奇宝贝的特征 x,判断属于类别1或者类别2,把当作回归问题。类别1:相当于target是 1。类别2:相当于target是 −1。输入数值化要想把一个东西当做function的input,就需要把它数值化...原创 2020-11-17 12:44:02 · 323 阅读 · 0 评论 -
作业一:预测PM2.5(李宏毅机器学习2020HW1——线性回归)
作业描述采集了台湾环境监测所的数据。要求:根据前9小时的数据,用线性回归来预测第10个小时的PM2.5的数值。任务要求输入:9个小时的数据,共18项特征(AMB_TEMP, CH4, CO, NHMC, NO, NO2, NOx, O3, PM10, PM2.5, RAINFALL, RH, SO2, THC, WD_HR, WIND_DIREC, WIND_SPEED, WS_HR)输出:第10小时的PM2.5数值模型:线性回归模型搭建Load 'train.csv’本次作业使用了某原创 2020-11-11 20:06:48 · 3981 阅读 · 1 评论 -
5.机器学习——回归代码演示
目的在假设有10个x_data和y_data,x和y之间的关系是y_data=b+w*x_data。b,w都是参数,是需要学习出来的。现在我们来练习用梯度下降找到b和w。库准备import numpy as npimport matplotlib.pyplot as pltfrom pylab import mpl# matplotlib没有中文字体,动态解决plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文mpl.rcParams['原创 2020-11-09 09:54:30 · 331 阅读 · 0 评论 -
4.机器学习——梯度下降
11原创 2020-11-09 09:18:50 · 301 阅读 · 0 评论 -
3.机器学习——Error的来源
这些 Error 的主要有两个来源,分别是 bias 和 variance 。●准: bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容易过拟合(overfitting), 过拟合对应上图是high variance,点很分散。low bias对应就是点都打在靶心附近,所以瞄的是准的,但手不一定稳。●确:varience描述的是样本上训练出来的模型在测试集上的表原创 2020-11-06 11:06:49 · 520 阅读 · 0 评论 -
2.机器学习——Regression
回归定义Regression 就是找到一个函数 function ,通过输入特征 x,输出一个数值 Scalar。模型步骤step1:模型假设,选择模型框架(线性模型)step2:模型评估,如何判断众多模型的好坏(损失函数)step3:模型优化,如何筛选最优的模型(梯度下降)Step 1:模型假设 - 线性模型一元线性模型(单个特征)以一个特征 xcpx_{cp}xcp 为例,线性模型假设 y=b+w⋅xcpy = b + w·x_{cp}y=b+w⋅xcp 。多元线性模型(多个特原创 2020-10-25 23:38:55 · 466 阅读 · 0 评论 -
1.机器学习介绍
机器学习machine learning就是在寻找一个function,要让机器具有一个能力,这种能力是根据你提供给他的数据,它去寻找出我们要寻找的function。如何找到函数。step1:定义function。step2:可以衡量function的好坏。step3:选出一个好的function。机器学习相关技术...原创 2020-10-23 23:32:34 · 369 阅读 · 1 评论