Week 5 Linear Models for Classification (Part A)

已于 2022-07-29 11:35:39 修改
阅读量419 收藏
点赞数
分类专栏： FIT5201 Machine learning 文章标签： 机器学习 python 深度学习
于 2022-07-21 11:06:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjian530/article/details/125904588
版权
这篇博客探讨了线性分类的基本概念，包括回归与分类的区别、线性分类器和决策边界。深入介绍了判别模型，特别是感知器算法，讨论了多层感知机（MLP）的结构和防止过拟合的策略。内容涵盖线性模型、判别函数、生成模型和感知机算法的细节，以及在实际问题中的应用。
摘要由CSDN通过智能技术生成

目录

一、线性分类的基本概念

1、回归与分类（Regression vs Classification）

2、从线性回归到线性分类

3、分类器（Classifier）

3、决策边界（Decision Boundary）

4、线性分类器（Linear Classifier）

5、广义线性模型（Generalised Linear Models）

​二、判别模型（Discriminative Models）

1、定义

2、两类判别函数（Two Class Discriminant Function）

3、泛化到多分类问题（Generalisation to Multiclass Problems）

4、常见的判别模型

三、生成模型（Generative Models）-以统计学和Bayes作为理论基础

1、定义

2、常见的生成模型

3、生成模型与判别模型的区别与联系

四、感知器算法（ Perceptron Algorithm）- 硬分类且属于判别模型

1、定义

2、感知机模型

3、感知机的损失函数

 4、感知机的算法步骤

5、感知机的算法的例子

 6、感知机一些重要性质

五、多层感知机（MLP）

1、多层感知机的结构图

2、多层感知机的算法流程

 六、分类过程中如何预防过拟合问题（Tutorial）

 1、交叉折叠验证

2、使用更多数据进行训练

3、移除一些特征值

4、早点停止训练

 5、正则化

6、Ensembling模型融合

一、线性分类的基本概念

1、回归与分类（Regression vs Classification）

（1）相同点：其实分类和回归的本质是一样的，都是对输入做出预测，其区别在于输出的类型。

（2）分类问题：分类问题的输出是离散型变量(如: +1、-1)，是一种定性输出。(预测明天天气是阴、晴还是雨)

    生活中实际运用的例子：

  • 将客户分为良好信用、不良信用或灰色
  • 预测电子邮件是否为垃圾邮件，是否应发送到垃圾邮件文件夹
  • 识别手写数字图像

（3）回归问题：回归问题的输出是连续型变量，是一种定量输出。(预测明天的温度是多少度)

     生活中实际运用的例子：

  • 根据房屋面积的增加预测房价
  • 根据学习时间预测考试结果
了解本专栏 订阅专栏 解锁全文 超级会员免费看
金州饿霸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Week 6 Linear Models for Classification (Part B)
金州饿霸吃不饱的博客
07-28 421
Linear Models for Classification (Part B)
Neural Networks and Deep Learning week3 Planar data classification with a hidden layer
QQ1845517170的博客
11-25 536
该实验作业的主要目的 实现一个二元分类（多元分类就是分为目标类和非目标类两类） 使用非线性激活函数（希望你还记得为什么，在哪里使用什么函数的原因） 实现前向传播和后向传播 你可能对以下文献感兴趣 http://scs.ryerson.ca/~aharley/neural-networks/ 打不开了？？？ http://cs231n.github.io/neural-networks-case-study/ 多元分类（3元） 总体进程 载入文件 显示数据集 2 获取数据集信息 线性回归..
Neural Networks and Deep Learning--Course1week3--Planar data classification with one hidden layer v5
qq_33292662的博客
01-19 355
Planar data classification with one hidden layer（红色注释版） Welcome to your week 3 programming assignment. It’s time to build your first neural network, which will have a hidden layer. You will see a big ...
Character-level Convolutional Networks for Text Classification
BUPT-WT的博客
10-23 818
论文总体结构 本文历史意义: 1、构建多个文本分类数据集，推动文本分类发展 2、提出CharTextCNN方法，由于只使用字符信息，所以可以用于多种语言中 一、Abstract(通过实验探究了字符级别卷积神经网络用于文本分类的有效性，模型取得较好结果) 摘要部分讲解了本文主要做什么，主要是三个方面，一是从实验角度探究字符级别卷积神经网络的有效性，二是构造几个大规模文本分类数据集，三是和对比模型相互比较。 二、Introduction(字符级别特征可以有效从原始新号如...
林轩田《机器学习基石》课程笔记11 -- Linear Models for Classification1
08-03
1. 线性分类（Linear Classification）：假设函数为 ，其中θ是参数，x是特征向量，输出结果为{-1, +1}，误差函数是0/1损失，即错误分类的概率，这是一个NP-hard问题，不容易直接求解。 2. 线性回归（Linear ...
机器学习基石 Linear Models for Binary Classification (21-35).mp4
03-29
机器学习基石 Linear Models for Binary Classification (21-35).mp4
3.Linear-Models-for-Classification.html
04-10
3.Linear-Models-for-Classification.html
论文研究-A multiple-steps linear representation based classification for face recognition.pdf
08-16
人脸识别是计算机视觉和模式识别领域中非常热门的研究话题，它在安全验证、人机交互等方面具有重要的应用价值。随着技术的进步，人们对于人脸识别系统鲁棒性的要求也越来越高。鲁棒性通常指系统在面对各种扰动或不...
A local boosting algorithm for solving classification problems
02-20
Based on the boosting-by-resampling version of Adaboost, a local boosting algorithm for dealing with classification tasks is proposed in this paper. Its main idea is that in each iteration, a local ...
机器学习中的没有免费午餐定理
qq_36566678的博客
08-21 400
而支持向量机呢，在处理线性可分问题时表现得极为出色，但对于大规模数据集的训练，却可能会耗费大量的时间。你的心中怀揣着一个强烈的渴望，那就是找到一种万能的算法，它能够轻松解决所有的机器学习问题，就仿佛拥有了一把可以开启任何宝藏大门的神奇钥匙。免费午餐定理郑重地告诉我们，在所有可能的问题分布上，没有一种算法能够始终比其他算法表现得更加出色。在广阔无垠的机器学习领域中，免费午餐定理就如同一把神奇的钥匙，为我们打开理解不同算法之间关系的大门，同时也让我们看清这些算法在实际应用中的局限性。
机器学习在旅游业的革新之旅
jun778895的博客
08-21 696
随着技术的不断进步和应用的不断深化，机器学习在旅游业中的应用前景越来越广阔。它不仅提升了旅游服务的智能化水平，还极大地增强了旅客的满意度和忠诚度。然而，我们也应认识到，机器学习在旅游业的广泛应用仍面临一些挑战和限制，如数据隐私保护、算法透明度、技术普及率等问题。因此，在未来的发展中，需要平衡技术创新与伦理规范，确保技术的健康发展。
机器学习：一元线性回归模型
纸上得来终觉浅
08-18 588
一元线性回归模型
[机器学习]--线性回归算法
人工智能专业学生
08-21 934
FC⋅59​32××线性回归(Linear regression)就是利用回归函数对一个或多个自变量和因变量关系建立类似如上模型的一种分析方式hww1​x1​w2​x2​...bwTxb其中w1​w2​...称为系数x1​x2​...是自变量hw​bw1​w2​...​​⋅​1x1​x2​...​​根据自变量的数量, 可以将线性关系分为单变量线性关系, 多变量线性关系。
【机器学习-监督学习】双线性模型
Morse_Chen的博客
08-22 1867
本文介绍了双线性模型的来源和特点，以及与线性模型的区别。以因子分解机和概率矩阵分解两个推荐系统中的常用模型为例，具体讲解了双线性模型的应用，并动手实现了矩阵分解MF模型和因子分解机FM模型。这两个模型都是目前推荐系统所用模型的基础，从它们改进和衍生的模型仍然有广泛应用。
【机器学习】逻辑回归原理（极大似然估计，逻辑函数Sigmod函数模型详解！！！）
2301_76820214的博客
08-22 1164
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。
【机器学习】经典CNN架构
鑫宝的博客
08-22 2392
本文介绍了几种经典的CNN架构,包括LeNet、AlexNet、VGGNet、GoogLeNet和ResNet等。这些架构不断推进了CNN的发展,提出了诸如卷积、池化、残差连接等创新技术,极大地提高了CNN在计算机视觉等领域的性能。未来,CNN仍将在各个领域发挥重要作用。
【机器学习】以KNN为例的交叉验证 网格搜索
m0_73658021的博客
08-21 801
简称为KNN，根据k个最近的邻居的类别判断当前样本的类别，k一般取奇数。knn首先要判断两个样本之间的距离，距离有多种表示方式。k个邻居中哪种类别的样本多，就判断这个为这个类别。实例化预估器时，预估器会传入一些人为规定的参数如。best_score_ 在训练集中的准确率。best_estimator_ 最佳估计器。best_index_最佳k在列表中的下标。cv_results_ 交叉验证过程描述。best_params_ 最佳参数。维度变大，数据变得稀疏，距离会很远。, 这样的参数被称为超参数。
机器学习：opencv图像识别--图片专项
最新发布
纸上得来终觉浅
08-23 2511
机器学习：opencv图像识别
Implement linear SVM model for binary classification task and use autograd to optimize it by Pytorch.
03-31
Sure, here's an example implementation of a linear SVM model for binary classification using PyTorch and autograd for optimization: ``` import torch import torch.nn as nn import torch.optim as optim class LinearSVM(nn.Module): def __init__(self, input_dim): super(LinearSVM, self).__init__() self.weights = nn.Parameter(torch.randn(input_dim)) self.bias = nn.Parameter(torch.randn(1)) def forward(self, x): linear_output = torch.dot(x, self.weights) + self.bias return linear_output # Define training data and labels train_data = torch.tensor([[1.0, 2.0], [2.0, 3.0], [3.0, 4.0], [4.0, 5.0]]) train_labels = torch.tensor([1, 1, -1, -1]) # Initialize model and optimizer svm = LinearSVM(input_dim=2) optimizer = optim.SGD(svm.parameters(), lr=0.01) # Define training loop num_epochs = 1000 for epoch in range(num_epochs): svm.train() optimizer.zero_grad() output = svm(train_data) loss = torch.mean(torch.clamp(1 - train_labels * output, min=0)) loss.backward() optimizer.step() # Evaluate model on test data test_data = torch.tensor([[1.0, 1.0], [2.0, 2.0], [3.0, 3.0], [4.0, 4.0]]) svm.eval() test_predictions = torch.sign(svm(test_data)).detach().numpy() print(test_predictions) ``` In this example, we define a `LinearSVM` class that inherits from `nn.Module` and implements a linear SVM model with a single linear layer. We use `nn.Parameter` to define the model's weight and bias parameters, which are then optimized using the `optim.SGD` optimizer. In the training loop, we compute the SVM loss using the hinge loss function and backpropagate the gradients using autograd. We then update the model parameters using the optimizer's `step` method. Finally, we evaluate the trained model on some test data by passing it through the model and taking the sign of the output (since the SVM is a binary classifier). We use `detach().numpy()` to convert the output to a numpy array for easier interpretation. Note: This is just a simple example implementation of a linear SVM in PyTorch using autograd. In practice, you may want to use a more robust implementation or library for SVMs, such as LIBLINEAR or scikit-learn.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金州饿霸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值