Python数据分析与机器学习37-神经网络概述

最新推荐文章于 2024-08-01 14:15:05 发布
最新推荐文章于 2024-08-01 14:15:05 发布
阅读量432 收藏 2
点赞数
分类专栏： 数据分析 + 机器学习 Python # Python数据分析与机器学习 文章标签： 机器学习 python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/126082537
版权

文章目录

一. 什么是人工智能

1.1 学习的能力，是智能的本质

image.png

1.2 大数据时代，万物互联

其实人工智能诞生比较找，大数据时代的来临，大大加速了人工智能的应用。
image.png

1.3 李世石 VS 阿法狗

4:1 李世石惨败
image.png

二. 神经网络概述

2.1 人工智能 VS 深度学习

随着数据规模的增加，传统人工智能算法的瓶颈就会出现，此时应该选择深度学习算法。
image.png

2.2 述说图片的故事

这些字幕是深度学习程序写的
image.png

2.3 无人驾驶汽车

  1. 物体检测
  2. 行人检测
  3. 标志识别
  4. 速度识别
    …

image.png

2.4 黑科技：Image Transfer

Content + Style = Interesting thing

image.png

2.5 图像分类

图像分类是计算机视觉的核心任务。

假设我们有一系列的标签：狗，猫，汽车，飞机。。。
我们怎么才能判断下面这张图是猫呢?
image.png

一张图片被表示成三维数组的形式，每个像素的值从0到255
例如：3001003
(最后的3代表颜色 RGB. R代表red，G代表Green，B代表Black)
image.png

计算机视觉会存在很多干扰项。
image.png

2.5.1 挑战: 照射角度

image.png

2.5.2 挑战:光照强度

image.png

2.5.3 挑战: 形状改变

image.png

2.5.4 挑战: 部分遮蔽

image.png

2.5.5 挑战: 背景混入

背景混入是目前最麻烦的一种情况
image.png

2.6 图像分类常规套路

  1. 收集数据并给定标签
  2. 训练一个分类器
  3. 测试，评估

image.png

三. K近邻

3.1 K近邻概述

image.png
image.png

对于未知类别属性数据集中的点：

  1. 计算已知类别数据集中的点与当前点的距离
  2. 按照距离依次排序
  3. 选取与当前点距离最小的K个点
  4. 确定前K个点所在类别的出现概率
  5. 返回前K个点出现频率最高的类别作为当前点预测分类。

概述：
KNN 算法本身简单有效，它是一种lazy-learning 算法。
分类器不需要使用训练集进行训练，训练时间复杂度为0。
KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN 的分类时间复杂度为O(n)。

3.2 K 值的选择

距离度量和分类决策规则是该算法的三个基本要素

问题：
该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K 个邻居中大容量类的样本占多数

解决：
不同的样本给予不同权重项

3.3 数据库样例: CIFAR-10

10类标签
50000个训练数据
10000个测试数据
大小均为32*32
image.png

3.4 如何计算距离

image.png

测试结果:
准确率较低
image.png

3.5 最近邻代码

image.png

3.6 超参数

image.png

3.7 K近邻小结

问题:

  1. 对于距离如何设定？
  2. 对于K近邻的K该如何选择？
  3. 如果有的话，其它的超参数该怎么设定呢？

交叉验证:
image.png

选取超参数的正确方法:

  1. 选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好那个。

  2. 如果训练数据量不够，使用交叉验证方法，它能帮助我们在选取最优超参数的时候减少噪音。

  3. 一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。

  4. 最近邻分类器能够在CIFAR-10上得到将近40%的准确率。该算法简单易实现，但需要存储所有训练数据，并且在测试的时候过于耗费计算能力。

  5. 最后，我们知道了仅仅使用L1和L2范数来进行像素比较是不够的，图像更多的是按照背景和颜色被分类，而不是语义主体分身。

整体步骤:

  1. 预处理你的数据：对你数据中的特征进行归一化（normalize），让其具有零平均值（zero mean）和单位方差（unit variance）。

  2. 如果数据是高维数据，考虑使用降维方法，比如PCA。

  3. 将数据随机分入训练集和验证集。按照一般规律，70%-90% 数据作为训练集。

  4. 在验证集上调优，尝试足够多的k值，尝试L1和L2两种范数计算方式。

四. 线性分类

每个类别的得分
image.png

得分函数：
image.png

实例:
0.256 - 0.5231 + 0.124 + 2.02 + 1.1 = -96.8
image.png

image.png

image.png

五. 损失函数

5.1 损失函数概述

image.png

从上例可以看到，最终的评分效果不理想，预测值与实际值之间存在较大的差异，这个引入了损失函数。
image.png
从上图可以看出，模型评估的效果越差的话，损失函数的值就越大。

image.png

损失函数:
image.png
根据上图的损失函数,结合下图的x , w1, w2
会出现 f(x,w1) = f(x,w2)
但是w1只对一个变量设置了权重值，而w2却对所有变量设置了权重值，虽然模型评分相同，但是理论上将更多的变量加入到模型中是更好的方法。
image.png
image.png
image.png

5.2 正则化

为了解决上面提出的问题，于是引入了正则化惩罚项
可以理解的理解 λ 就是 w 2 w^2 w2
y(x,w1) = 11 = 1
y(x,w2) = 0.250.25 + 0.250.25 + 0.250.25 + 0.25*0.25 = 0.25
此时y(x,w2) 的损失函数就小于y(x,w1),解决了上面的问题。
image.png

5.3 损失函数终极版

image.png

六. Softmax 分类器

Softmax 分类器 是 多类别分类，Softmax的输出是概率。
image.png

6.1 Sigmoid函数

Sigmoid是符号函数:
image.png

x取值范围是(-∞,+∞),而y的取值范围是[0-1]
刚好我们的概率取值范围也是[0-1]，于是可以对应起来。
image.png

6.2 Softmax 分类器概述

Softmax的输出（归一化的分类概率）

损失函数：交叉熵损失（cross-entropy loss）
image.png

image.png
上图被称作softmax函数

其输入值是一个向量，向量中元素为任意实数的评分值

输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1
image.png

七. 最优化

image.png

粗暴的想法:
image.png

得到的结果:
image.png

7.1 找到山坡的最低点

image.png

第一个位置是随机的，然后不挺的迭代，找到最低点
image.png

跟随梯度:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IYJswv5W-1659234249640)(https://upload-images.jianshu.io/upload_images/2638478-2962a7e9f53e5658.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
image.png

7.2 梯度下降

image.png
image.png
Bachsize通常是2的整数倍（32，64，128）

image.png
上图是 训练网络时的LOSS值视化结果。

7.3 学习率

训练网络时的LOSS值视化结果
image.png

image.png

7.4 反向传播

函数运行的结果与验证集存在偏差(损失函数大)，此时可以通过反馈结果，调整权重参数，尽可能的将 损失函数的值变小。
image.png
image.png
image.png
image.png
image.png

加法门单元：均等分配
MAX门单元：给最大的
乘法门单元：互换的感觉
image.png

八. 神经网络

8.1 神经网络概述

image.png

image.png

image.png

image.png

image.png

正则化项在神经网络中的重要作用
image.png

越多的神经元，就越能够表达能复杂的模型
image.png

8.2 激活函数

激活函数是用来解决 预测结果与变量之间的非线性关系的问题。
image.png

最开始的激活函数就是Sigmoid，但是他会存在一个梯度消失的问题。
image.png
image.png

image.png

于是引入了新的激活函数ReLUctant
当x<=0的时候，y=0
当x > 0 的时候，y=x
image.png

8.3 数据预处理

image.png

全零值初始化？
image.png

image.png

8.4 DROP-OUT

左图是全连接，模型效果更优，但是模型也更复杂，计算量也大。
所以有了右图的DROP-OUT，将一些不重要的连接去掉，保证模型效果的同时，尽量减少一些不必要的计算量。
image.png

参考：

  1. https://study.163.com/course/introduction.htm?courseId=1003590004#/courseDetail?tab=1
只是甲
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入Scikit-learn：掌握Python最强大的机器学习库
sinner小屋
07-21 1399
Scikit-learn是一个开源的Python机器学习库，它建立在NumPy、SciPy和Matplotlib之上，提供了大量的机器学习算法和工具，适用于各种机器学习任务，如分类、回归、聚类、降维等。Scikit-learn的设计遵循简洁、一致的API接口，使得用户可以轻松地从数据预处理到模型评估的整个机器学习流程中进行操作。它还提供了丰富的文档和示例，帮助用户快速上手和解决问题。Scikit-learn允许用户自定义扩展，以满足特定需求。可以通过继承和（或）来创建自定义模型。# 使用自定义分类器。
机器学习算法-神经网络LSTM
09-21
#### 一、人工神经网络概述 人工神经网络（Artificial Neural Network, ANN）是一种模仿生物神经系统的计算模型，用于解决复杂的学习任务。自20世纪80年代以来，它一直是人工智能领域的重要研究方向之一。ANN的基本...
Python数据分析：人工神经网络（ANN)
厚积薄发
05-05 5680
Python数据分析：人工神经网络（ANN) 神经网络基本组成： 输入层（input layer），隐藏层（hidden layer），输出层（output layer） 每层由神经元或单元组成 输入层由训练集的样本特征向量传入 经过连接节点的权重（weight）传入下一层，上一层的输出是下一层的输入 上一层中的加权求和，然后根据非线性方程转化为下一层的输入 对于多层神经...
python数据分析与机器学习实战-唐宇迪-专题视频课程
迪哥有点愁
01-24 2621
课程风格通俗易懂，真实案例实战。精心挑选真实的数据集为案例，通过python数据科学库numpy,pandas,matplot结合机器学习库scikit-learn完成一些列的机器学习案例。课程以实战为基础，所有课时都结合代码演示如何使用这些python库来完成一个真实的数据案例。算法与项目相结合，选择经典kaggle项目，从数据预处理开始一步步代码实战带大家入门机器学习。 学习收益： 1.掌...
Python数据分析之机器学习：回归
weixin_45085051的博客
10-14 2397
回归模型包括：线性回归，带正则化的线性回归；罗吉斯特回归；人工神经网络；回归树；
机器学习----神经网络技术详解
最新发布
qq_42538588的博客
08-01 955
机器学习（Machine Learning, ML）是一种人工智能（Artificial Intelligence, AI）技术，它使计算机能够通过经验自动改进性能，而不需要明确编程。机器学习的核心在于从数据中提取模式和知识，从而使系统能够做出预测或决策。机器学习的方法可以分为监督学习、无监督学习和强化学习等几种主要类型。监督学习：在监督学习中，模型通过一组带标签的训练数据进行训练。训练过程的目标是使模型能够根据输入数据预测正确的标签。例如，分类问题和回归问题都是监督学习的典型应用。
Python-玩转数据-机器学习与建模概述
s_unbo的博客
03-03 1885
一、说明 机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机如何开发一个算法来完成任务。 二、机器学习与建模 三、监督学习算法 1. 决策树 (Decision Trees) 决策树是一个决策支持工具，它用树形的图或者模型表示决策及其可能的后果，包括随机事件的影响、资源消耗、以及用途。请看下图，随意感受一下决策树长这样的： 从商业角度看，决策树就是用最少的 Yes/No 问题，尽可能地做出一个正确的决策。它让我们
数据分析与机器学习实战（一）——机器学习基础
陈沫尘的博客
04-01 1330
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。前面章节已经学习了 Python 的基本语法和编程知识，在学习如何使用 Python 进行数据分析之前，来认识一下什么是机器学习，以及机器学习的不同分类，这些基本知识对理解和学习机器学习的常用算法非常有帮助。本章将介绍机器学习的基本概念及分类。机器学习概述监督学习简介非监督学习简介增强学习简介深度学习简介机器学习常用术语机器是否具有学习的能力呢?我们来看一些报道。
Python数据分析与机器学习项目实战
fulk6667g78o8的专栏
11-08 4930
时值蚂蚁上市之际，马云在上海滩发表演讲。马云的核心逻辑其实只有一个，在全球数字经济时代，有且只有一种金融优势，那就是基于消费者大数据的纯信用！ 我们不妨称之为数据信用，它比抵押更靠谱，它比担保更保险，它比监管更高明，它是一种面向未来的财产权，它是数字货币背后核心的抵押资产，它决定了数字货币时代信用创造的方向、速度和规模。一句话，谁掌握了数据信用，谁就控制了数字货币的发行权！ 数据信用判断依靠的就是金融风控模型。更准确的说谁能掌握机器学习和数据分析能力，谁就掌握了数字货币的发行权！ 来自南京大学、.
【机器学习】使用Python实现图神经网络（GNN）：图结构数据的分析与应用
Allen-
06-20 2369
图神经网络（GNN）凭借其强大的建模能力和灵活性，在许多领域展现了巨大的潜力和广泛的应用。在社交网络分析中，GNN能够通过用户之间的关系和行为模式进行精准的用户推荐和社区检测，显著提升社交平台的用户体验。在生物信息学领域，GNN通过建模基因-蛋白质相互作用网络和蛋白质结构图，促进了蛋白质-蛋白质相互作用预测和新药发现，推动了生命科学的进步。化学分子图的建模使得GNN在分子性质预测和新药研发方面表现优异，帮助科学家加速材料科学和药物设计的进程。
神经网络与深度学习python源码机器学习猫狗识别源码带数据集
04-20
2. **深度学习定义**：深度学习是机器学习的一个分支，它主要基于多层神经网络模型进行特征学习和模式识别。深度学习能够自动地从原始数据中学习到层次化的表示形式，从而在许多领域取得了显著的成绩。 #### 二、...
神经网络与深度学习python源码主成分分析
04-20
### 神经网络与深度学习中的主成分分析（PCA）及Python实现 #### 一、神经网络与深度学习概述 ...掌握PCA的基本原理及其Python实现方法，对于从事数据分析、机器学习等领域的专业人士来说至关重要。
神经网络与深度学习python源码潜在语义分析
04-20
神经网络与深度学习是当前人工智能领域的重要组成部分，通过Python等工具可以高效地实现模型的构建与训练。潜在语义分析作为文本挖掘的一种方法，可以帮助我们更好地理解文档集中的隐含意义，对于信息检索、文本分类...
神经网络与深度学习python源码范例带数据集
04-20
深度学习是机器学习的一个分支，它侧重于构建具有多个层次的神经网络模型，以实现对复杂数据的有效表示和处理。 #### 2.2 应用领域 深度学习在计算机视觉、自然语言处理、语音识别等领域取得了显著成就。例如： - *...
Python数据分析与机器学习27-拼写纠正实例
热门推荐
只是甲的博客
07-25 7万+
python 数据分析 人工智能 贝叶斯 拼写纠错
Python案例篇1-pycharm ModuleNotFoundError: No module named ‘xlsxwriter‘
只是甲的博客
04-22 1万+
一.问题描述 已经用pip 安装了xlsxwriter模块，但是pycharm使用的时候，依旧会报错 ModuleNotFoundError: No module named 'xlsxwriter' 命令行里面import是不报错的: 使用pycharm运行的时候报错: 二.解决方案 pycharm File -> Settings -> project:项目名 -> Project Interpreter 然后选择 + ，在该项目下安装xlsxwriter即可 [外链图片转存失败
Python案例篇3-pip install 失败 Command “python setup.py egg_info“ failed with error code 1
只是甲的博客
04-23 1万+
一.问题描述 最近在自学pyspark，想本地通过pycharm来编辑pyspark脚本，运行的时候，提示没有pyspark模块，于是通过pycharm安装了pyspark(最新版本)。 而且这个安装到了远程服务器上，真的坑 奈何我安装的是CDH 6.3.1版本，然后spark版本是 2.4.0-cdh6.3.1，然后最新版本是3.0.2的 新的pyspak程序，都未记录到 History Server服务上。 于是首先通过pip卸载pyspark 3.0.2版本，然后安装pyspark 2.4.0版本
Python常用模块12-python的xlsxwriter模块(操作excel)
只是甲的博客
04-16 1万+
文章目录一.xlsxwriter模块1.1 xlsxwriter模块介绍1.2 xlsxwriter 实例1.2.1 创建一个简单的xlsx文件1.2.2 将指定格式的数据录入xlsx文件1.2.3 写入不同的类型的数据到xlsx1.2.4 将数据库查询出来的数据录入xlsx文件二.openpyxl模块读取excel文件参考: 一.xlsxwriter模块 1.1 xlsxwriter模块介绍 在实际生产中，经常会用到excel来处理数据，虽然excel有强大的公式，但是很多工作也只能半自动化，配合pyth
数据科学与机器学习入门：Python与AI概览
- 深度学习是机器学习的一个分支，使用多层神经网络模型来模拟人脑的复杂学习过程。 3. 实时数据科学过程： - 这个阶段讲解了数据从收集、清洗、预处理到建模、评估和部署的整体流程。 - 数据科学的实际应用案例...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值