自己建立的3层神经网络

这篇博客介绍了一个自建的3层神经网络,输入为4元素,第一层有4个隐藏神经元,第二层有3个,输出层1个。作者使用numpy进行矩阵运算,应用sigmoid激活函数,并通过梯度下降法更新权重和偏置,进行了30000次迭代以优化损失函数。最后展示了损失函数的变化趋势图。
摘要由CSDN通过智能技术生成
#3层网络,4元素输入,4个第一层隐藏神经元,3个第二层隐藏神经元,1个输出,4*4*3*1
import numpy as np
import math
import matplotlib.pyplot as plt
X = np.array([[0,0,1,1],
    [0,1,1,0],
    [1,0,1,1],
    [1,1,1,0]])
Y = np.array([[0,1,1,0]])
iter_times=30000
α=0.01
def sigmoid(x):
   return 1/(1+np.exp(-x))
def diriv(a):
   return a*(1-a)
#loss function: L(a,y)=-(ylog(a)+(1-y)log(1-a))
W1 = np.random.random((4,4)) 
W2 = np.random.random((3,4)) 
W3 = np.random.random((1,3))
b1 =0
b2 =0
b3 =0
Cost=[]


for i in range(iter_times):
   A1=sigmoid(np.dot(W1,X)+b1)
   A2=sigmoid(np.dot(W2,A1)+b2)
   A3=sigmoid(np.dot(W3,A2)+b3)
   J=Y*(np.log10(A3))+(1-Y)*(np.log10(1-A3))
   J=1/4*J.sum(axis=1)
   Cost.append(abs(J))

   dZ3=A3-Y
   dW3=1/4 *np.dot(dZ3,A2.T)
   db3=1/4*np.sum(dZ3, axis=1, keepdims=True)

   dZ2=np.dot(W3.T,dZ3)*diriv(A2)
   dW2=1/4*np.dot(dZ2,A1.T)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值