6-高维空间:机器如何面对越来越复杂的问题

本文介绍了基于二维输入数据的神经元模型,通过编程实验展示了如何构建预测模型,包括前向传播和反向传播的随机梯度下降过程。重点强调了数据特征维度增加对模型复杂性和预测效果的影响。
摘要由CSDN通过智能技术生成

声明

本文章基于哔哩哔哩付费课程《小白也能听懂的人工智能原理》仅供学习记录、分享,严禁他用!!如有侵权,请联系删除

目录

一、知识引入

(一)二维输入数据

(二)数据特征维度

二、编程实验--接收2个输入的神经元

(一)观察数据

(二)编写预测模型

(三)前向传播

(四)反向传播+随机梯度下降


一、知识引入

(一)二维输入数据

      豆豆的毒性不仅和它的大小有关,也和它的颜色深浅有关系。这时就不能仅靠一个二维平面坐标系,就需要一个三维的空间坐标系。神经元也需要2个树突来接收输入。同时,过去的一元一次函数就需要变为-->二元一次函数,“颜色深浅”成为了另外一个“元”。

        二元一次函数在三维空间中,是一个平面。套上一层sigmoid激活函数后,就形成了曲面

        表示当大小和颜色深浅去某个值时,对有毒概率的预测结果。

        引入隐藏层神经元后,就可以扭曲三维空间中的面,让其组合出不同的曲面

(二)数据特征维度

        当问题数据特征越来越多,也就是说,我们采集豆豆的更多特征,eg:除了大小和颜色深浅以外,再加入一个外壳硬度作为输入数据时,我们就只能再添加一个维度去描述预测模型的图像。需要在四维空间作图。

        输入数据有多少种类别,也就是所谓的特征维度,也叫数据维度(数据特征维度)。实际上我们把豆豆的特征提取越多,也就是我们从更多维去观察问题,也就能更好地预测它的毒性

        当输入数据的维度越来越多时,权重参数也越来越多。一个一个地去编写它们的函数表达式未免有点麻烦和拖沓。

二、编程实验--接收2个输入的神经元

(一)观察数据

import numpy as np
import dataset
# 封装了绘图工具
import plot_utils

# 获取豆豆数据
num = 100
# xs是一个二维数组,表示输入数据的2个特征维度
# ys仍然是一维数组,0和1,代表每个豆豆是否有毒,0表示无毒、1表示有毒
xs, ys = dataset.get_beans(num)

# 绘制数据的散点图
plot_utils.show_scatter(xs, ys)

(二)编写预测模型

# 编写预测模型
# 因为有2个树突,所以输入和神经元之间有2个权重参数
w1 = 0.1
w2 = 0.1
b = 0.1

(三)前向传播

# 编写前向传播代码
# 豆豆大小数据,在所有的行上,把第0列切割下来形成一个新的数组
x1s = xs[:, 0]
# 豆豆颜色数据,在所有的行上,把第1列切割下来形成一个新的数组
x2s = xs[:, 1]

# 前向传播
def forward_propagation(x1s, x2s):
    z = w1 * x1s + w2 * x2s + b
    a = 1 / (1 + np.exp(-z))
    return a

# 同时画出豆豆的散点图和预测曲面
plot_utils.show_scatter_surface(xs, ys, forward_propgation)

(四)反向传播+随机梯度下降

for _ in range(5000):
    for i in range(num):
        # 取单个样本,因为是随机梯度下降算法
        x = xs[i]
        y = ys[i]
        x1 = x[0]
        x2 = x[1]

        a = forward_propagation(x1, x2)

        e = (y - a)**2

        deda = -2 * (y - a)
        dadz = a * (1 - a)
        dzdw1 = x1
        dzdw2 = x2
        dzdb = 1

        dedw1 = deda * dadz * dzdw1
        dedw2 = deda * dadz * dzdw2
        dedb = deda * dadz * dzdb

        alpha = 0.0.1
        w1 = w1 - alpha * dedw1
        w2 = w2 - alpha * dedw2
        b = b - alpha * dedb

plot_utils.show_scatter_surface(xs, ys, forward_propgation)

        

  • 20
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Star_KeyW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值