《Hands-On Machine Learning with Scikit-Learn and TensorFlow》 学习笔记第六篇----机器学习中的降维方法

最新推荐文章于 2023-09-27 09:29:17 发布
最新推荐文章于 2023-09-27 09:29:17 发布
阅读量496 收藏
点赞数
分类专栏： 机器学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39751437/article/details/94427585
版权
本文介绍了机器学习中的降维技术，包括降维的意义、投影与流形学习概念。详细讲解了PCA、增量PCA、Kernal PCA和LLE等方法，其中PCA适用于线性数据，LLE适合非线性数据，而增量PCA则解决了大型数据集的问题。降维有助于提高训练效率，但可能损失信息。
摘要由CSDN通过智能技术生成

文章目录

降维的意义

许多机器学习问题涉及训练实例的几千甚至上百万个特征，这不仅导致训练非常缓慢， 也让我们更加难以找到好的解决方案。 这个问题通常被称为维度的诅咒，所以有效的减少特征的数量会提高效率，加快训练。降维对于数据可视化也是非常有用的。 将维度降到两个（或三个） ， 就可以在图形上绘制出高维训练集，所以降维是必要的。

综合上述，在训练模型之前降低训练集的维度，肯定可以加快训练速度，但这并不总是会导致更好或更简单的解决方案，它取决于数据集。

降维不可逆转，会损失一定的信息量

数据降维方法

投影

高维空间的所有训练实例实际上（或近似于）受一个低得多的低维子空间所影响，所以可以通过投影来改变特征空间。但在在许多情况下， 子空间可能会弯曲或转动，此时投影不是一个好的选择，可以选择流形学习。

流形学习

2D流形就是一个能够在更高维空间里面弯曲和扭转的2D形状。 更概括地说， d维流形
就是n（其中， d＜n） 维空间的一部分， 局部类似于一个d维超平面。

许多降维算法是通过对训练实例进行流形建模来实现的， 这被称为流形学习。 它依赖于流形假设， 也称为流形假说， 认为大多数现实世界的高维度数据集存在一个低维度的流形来重新表示。

数据降维主要技术

PCA

PCA可以用来对线性数据进行显著降维，属于一种线性、 非监督、 全局的降维算法， 即便是高度非线性的数据集， 因为它至少可以消除无用的维度。 但是如果不存在无用的维度 ， 那么使用PCA降维将会损失太多信息。
PCA假设数据集围绕原点集中，将数据投影到新的坐标轴，选择保留最大差异性（方差最大）的轴即可，新的第i条轴的单位向量就叫作第i个主成分。
两种方法

  • 基于SVD分解协方差矩阵实现PCA算法
  • 基于特征值分解协方差矩阵实现PCA算法

具体详见PCA部分

sklearn实现PCA，并求得主成分
参数:

  • n_components代表新的特征空间维度
  • whiten判断是否对降维后的数据的每个特征进行归一化，默认为False
  • svd_solver即指定奇异值分解SVD的方法，有4个可以选择的值：{‘auto’, ‘full’, ‘arpack’, ‘randomized’}。randomized一般适用于数据量大，数据维度多同时
最低0.47元/天 解锁文章
努力努力再努力F_
关注
专栏目录
Hands-On Machine Learning with Scikit-Learn and TensorFlow 原版PDF
02-01
原版PDF Hands-On Machine Learning with Scikit-Learn and TensorFlow 不是早期预览版（EAP），而是正式版
Hands-On Machine Learning with Scikit-Learn & TensorFlow 学习
weixin_45448227的博客
07-04 737
机器学习，sklearn使用
Hands-on Machine Learning with Scikit-Learn&TensorFlow
MoreYoungGavin博客
01-04 748
Learn python program language websit: http://learnpython.org   Data resource and Code examples download websit: https://github.com/ageron/handson-ml   Where you can find large datasets open to t...
深度学习四大名著：Hands-On Machine Learning with Scikit-Learn and TensorFlow代码
02-20
深度学习四大名著：Hands-On Machine Learning with Scikit-Learn and TensorFlow（《Scikit-Learn与TensorFlow机器学习实用指南》）的代码
Hands-on Machine Learning with Scikit-Learn, keras, and Tensorflow（机器学习系统的类型）学习笔记（一）
xiekengli8279的博客
11-19 3549
碎碎念 从今天开始，博主开始学习Hands-on Machine Learning with Scikit-Learn，Keras & Tensorflow(2nd Edition，Tensorflow 2)，这本书的第一版是有大佬翻译过了，第二版好像没有。博主尝试阅读英文原著，并且也会在博客上记录和分享自己的学习笔记。 Chapter 1 机器学习概览 当大多数人听到“机器学习”，他们会想象着一个机器人：这个机器人是一个可靠的管家或者是一个可怕的终结者，这个想象取决于你询问的是谁。但是机器学
Hands-on Machine Learning with Scikit-Learn, keras, and Tensorflow 第二版（机器学习的主要挑战）学习笔记（二）
xiekengli8279的博客
11-21 2097
机器学习的主要挑战 简而言之，由于你的主要任务是选择一种学习算法并在某些数据上对其进行训练，因此可能出错的两件事是“错误算法”和“错误数据”。让我们从坏数据的例子开始。 训练数据的数量不足 为了让幼儿知道苹果是什么，你所做可能是指着一个苹果然后说“苹果”（可能重复这个过程很多次）。现在孩子能够识别各种颜色和形状的苹果。 机器学习是完全不同的；大多数机器学习算法都需要大量的数据才能正常工作。即使对于非常简单的问题，你通常也需要上千个样本。对于像图像和语音识别这样复杂的问题，你可能需要上百万的样本（除非你
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1308
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（5）：支持向量机
Morganfs的博客
05-04 1225
第五章 支持向量机 · Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.04~2022.05.04 支持向量机（Support Ve
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（4）：训练模型
Morganfs的博客
04-16 1529
第四章 训练模型 · Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.04.16~2022.04.？ 到目前为止，我们已经探讨了不同机器学
Hands-On Machine Learning with Scikit-Learn and TensorFlow
12-23
When most people hear “Machine Learning,” they picture a robot: a dependable butler or a deadly Terminator depending on who you ask. But Machine Learning is not just a futuristic fantasy, it’s already here. In fact, it has been around for decades in some specialized applications, such as Optical Character Recognition (OCR). But the first ML application that really became mainstream, improving the lives of hundreds of millions of people, took over the world back in the 1990s: it was the spam filter. Not exactly a self-aware Skynet, but it does technically qualify as Machine Learning (it has actually learned so well that you seldom need to flag an email as spam anymore). It was followed by hundreds of ML applications that now quietly power hundreds of products and features that you use regularly, from better recommendations to voice search. Where does Machine Learning start and where does it end? What exactly does it mean for a machine to learn something? If I download a copy of Wikipedia, has my computer really “learned” something? Is it suddenly smarter? In this chapter we will start by clarifying what Machine Learning is and why you may want to use it. Then, before we set out to explore the Machine Learning continent, we will take a look at the map and learn about the main regions and the most notable landmarks: supervised versus unsupervised learning, online versus batch learning, instance-based versus model-based learning. Then we will look at the workflow of a typical ML project, discuss the main challenges you may face, and cover how to evaluate and fine-tune a Machine Learning system. This chapter introduces a lot of fundamental concepts (and jargon) that every data scientist should know by heart. It will be a high-level overview (the only chapter without much code), all rather simple, but you should make sure everything is crystal-clear to you before continuing to the rest of the book. So grab a coffee and let’s get started!
Hands-On Machine Learning with Scikit-Learn and TensorFlow PDF
12-23
When most people hear “Machine Learning,” they picture a robot: a dependable butler or a deadly Terminator depending on who you ask. But Machine Learning is not just a futuristic fantasy, it’s already here. In fact, it has been around for decades in some specialized applications, such as Optical Character Recognition (OCR). But the first ML application that really became mainstream, improving the lives of hundreds of millions of people, took over the world back in the 1990s: it was the spam filter. Not exactly a self-aware Skynet, but it does technically qualify as Machine Learning (it has actually learned so well that you seldom need to flag an email as spam anymore). It was followed by hundreds of ML applications that now quietly power hundreds of products and features that you use regularly, from better recommendations to voice search. Where does Machine Learning start and where does it end? What exactly does it mean for a machine to learn something? If I download a copy of Wikipedia, has my computer really “learned” something? Is it suddenly smarter? In this chapter we will start by clarifying what Machine Learning is and why you may want to use it. Then, before we set out to explore the Machine Learning continent, we will take a look at the map and learn about the main regions and the most notable landmarks: supervised versus unsupervised learning, online versus batch learning, instance-based versus model-based learning. Then we will look at the workflow of a typical ML project, discuss the main challenges you may face, and cover how to evaluate and fine-tune a Machine Learning system. This chapter introduces a lot of fundamental concepts (and jargon) that every data scientist should know by heart. It will be a high-level overview (the only chapter without much code), all rather simple, but you should make sure everything is crystal-clear to you before continuing to the rest of the book. So grab a coffee and let’s get started!
Hands-On Machine Learning with Scikit-Learn and TensorFlow - Aurelien Geron
02-08
不是市面上七百多页的那种电子书直接转换的pdf。 是五百多页的正宗原版pdf电子书
Hands-On Machine Learning with Scikit-Learn and TensorFlow（pdf 带标签+github代码）
11-14
Hands-On Machine Learning with Scikit-Learn and TensorFlow（pdf 带标签+github代码）
HandsOn Machine Learning with ScikitLearn and TensorFlo
最新发布
程序员光剑
09-27 832
作者：禅与计算机程序设计艺术 1.简介 “Hands-On Machine Learning”一书作者Geron教授（）和他的团队在近年推出了新版机器学习教材，该书全面、系统地阐述了机器学习的各个领域。在作者看来，现有的机器学习教材不仅难以给初学者提供足够的实践经验，而且还存在严重的偏差。为
Hands-on Machine Learning with Scikit-Learn and TensorFlow（中文版）和深度学习原理与TensorFlow实践-学习笔记
热门推荐
欧阳小白闯天涯
10-22 1万+
监督学习：添加标签。学习的目标是求出输入与输出之间的关系函数y=f(x)。朴素贝叶斯、逻辑回归和神经网络等都属于监督学习的方法。 监督学习主要解决两类核心问题，即回归和分类。 回归和分类的区别在于强调一个是连续的，一个是离散的。 非监督学习：不添加标签。学习目标是为了探索样本数据之间是否有隐含的不易被发现的关系。 半监督学习：通常是大量不带标签数据加上小部分带标签数据 批量学习：系统不能...
Hands-On Machine Learning with Scikit-Learn and TensorFlow学习笔记（一）
风飘絮起的博客
06-25 1321
Hands-On Machine Learning with Scikit-Learn and TensorFlow学习记录 机器学习真的是深入到了每一个学科。从今天起，博主将会一边看这本书一边做一些笔记。 本文内容大多基于此书。翻译参考git上的翻译 第0章引言部分，这里我们不多赘述。 第1章 机器学习概述 机器学习善于： 需要进行大量手工调整或需要拥有长串规则才能解决的问题：机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值