16.python实现线性单元和梯度下降-10月4日编程作业-Relu函数

已于 2022-10-04 11:43:40 修改
阅读量1k 收藏
点赞数
分类专栏： 机器学习 # python 文章标签： python 深度学习 机器学习
于 2022-10-04 11:38:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57656758/article/details/127159195
版权

目录

课堂笔记

代码实现1

运行结果1

代码实现2

评定一个学生的综合绩点

运行结果2

小结

课堂笔记

代码实现1

from cgi import print_environ
from functools import reduce
import numpy as np



#定义感知器类
class perceptron(object):
 
    #感知器初始化函数(参数个数，激活函数)
    def __init__(self, input_num, activator):
        self.activator = activator
        self.weights = [0.0 for _ in range(input_num)] #将每个参数对应权值设为0
        self.bias = 0.0 #偏置值设为0
 
    #输出训练所得权值与偏置值
    def __str__(self):
        return 'weights\t:%s\nbias\t:%f\n' % (self.weights, self.bias)
 
    #计算激活函数值
    def predict(self, input_vec):
        return self.activator(reduce(lambda a, b : a + b, map(lambda xw : xw[0] * xw[1], zip(input_vec, self.weights)), 0.0) + self.bias)
 
    #更新权重与偏置值
    def _update_weights(self, input_vec, output, label, rate):
        delta = label - output #计算预测值与真值之差
        self.weights = list(map(lambda xw : xw[1] + rate * delta * xw[0], zip(input_vec, self.weights))) #更新权重
        self.bias = rate + delta #更新偏置
 
    #迭代计算
    def _one_iteration(self, input_vecs, labels, rate):
        samples = zip(input_vecs, labels)
        for(input_vec, label) in samples:
            output = self.predict(input_vec) #计算激活函数值
            self._update_weights(input_vec, output, label, rate) #更新权值与偏置值
 
    #训练数据得权值、偏置值
    def train(self, input_vecs, labels, iteration, rate):
        for _ in range(iteration):
            self._one_iteration(input_vecs, labels, rate)
 
#定义激活函数  f = lambda x: x
def f(x):
    return x

 #def get_training_dataset():
 #   input_vecs = [[0.2104,3],[0.1600,3],[0.2400,3],[0.1416,2],[0.3000,4]]
 #   labels = [0.400,0.330,0.369,0.232,0.540]
 #   return input_vecs, labels

#def get_training_dataset():
    input_vecs = [[0,0],[-0.886041760444641,0],[0.520373702049255,0],[-1.20951724052429,-1.58113884925842],[1.57518529891968,1.58113884925842]]
    labels = [0.257084310054779,-0.440431356430054,-0.0518154688179493,-1.41695320606232,1.65211570262909]
    return input_vecs, labels

#def get_training_dataset():
    input_vecs = [[0.434343457221985,0.5],[0.116161584854126,0.5],[0.621212124824524,0.5],[0,0],[1,1]]
    labels = [0.545454561710358,0.318181812763214,0.444805204868317,0,1]
    return input_vecs, labels

#构建训练集
def get_training_dataset():
    input_vecs = [[5], [3], [8], [1.4], [10.1]] #输入向量列表，每一项是员工的工作年限
    labels = [5500, 2300, 7600, 1800, 11400] # 期望的输出列表，月薪，注意要与输入一一对应
    return input_vecs, labels

#构建训练集训练感知器
def train_linear_unit():
    p = perceptron(1, f)
    input_vecs, labels = get_training_dataset()
    p.train(input_vecs, labels, 5, 0.0001) #初始设置：迭代10轮，学习率是0.01
    return p


#主函数
if __name__ == '__main__':
    linear_unit = train_linear_unit()
    print(linear_unit)
    #顺便与标记对比一下 大概看一下训练效果 
    print ('Work 5 years, monthly salary = %.2f' % linear_unit.predict([5]))
    print ('Work 3 years, monthly salary = %.2f' % linear_unit.predict([3]))
    print ('Work 8 years, monthly salary = %.2f' % linear_unit.predict([8]))
    print ('Work 1.4 years, monthly salary = %.2f' % linear_unit.predict([1.4]))
    print ('Work 3.4 years, monthly salary = %.2f' % linear_unit.predict([3.4]))
    print ('Work 1.5 years, monthly salary = %.2f' % linear_unit.predict([1.5]))
    print ('Work 15 years, monthly salary = %.2f' % linear_unit.predict([15]))
    print ('Work 6.3 years, monthly salary = %.2f' % linear_unit.predict([6.3]))




#if __name__ == '__main__':
#    linear_unit = train_linear_unit()
#   print(linear_unit)
#    print('[居住面积,房间数量] = [2104,3] 最终价格为：%.2f' % linear_unit.predict([2104,3]))
#    print('[居住面积,房间数量] = [1600,3] 最终价格为：%.2f' % linear_unit.predict([1600,3]))
#    print('[居住面积,房间数量] = [2400,3] 最终价格为：%.2f' % linear_unit.predict([2400,3]))
#    print('[居住面积,房间数量] = [1416,2] 最终价格为：%.2f' % linear_unit.predict([1416,2]))
#    print('[居住面积,房间数量] = [3000,4] 最终价格为：%.2f' % linear_unit.predict([3000,4]))

运行结果1

代码实现2

评定一个学生的综合绩点

影响该学生综合绩点的特征向量[x^{(i)}]包括学业绩点、学生工作、科研成绩和实践表现，每个特征参与评定的比重不同，即参数[w^{(i)}]不同，还规定有基础分b，我们通过训练样本数据集得到[w^{(i)}]可预测下一届学生的综合绩点。

from cgi import print_environ
from functools import reduce
import numpy as np



#定义感知器类
class perceptron(object):
 
    #感知器初始化函数(参数个数，激活函数)
    def __init__(self, input_num, activator):
        self.activator = activator
        self.weights = [0.0 for _ in range(input_num)] #将每个参数对应权值设为0
        self.bias = 0.0 #偏置值设为0
 
    #输出训练所得权值与偏置值
    def __str__(self):
        return 'weights\t:%s\nbias\t:%f\n' % (self.weights, self.bias)
 
    #计算激活函数值
    def predict(self, input_vec):
        return self.activator(reduce(lambda a, b : a + b, map(lambda xw : xw[0] * xw[1], zip(input_vec, self.weights)), 0.0) + self.bias)
 
    #更新权重与偏置值
    def _update_weights(self, input_vec, output, label, rate):
        delta = label - output #计算预测值与真值之差
        self.weights = list(map(lambda xw : xw[1] + rate * delta * xw[0], zip(input_vec, self.weights))) #更新权重
        self.bias = rate + delta #更新偏置
 
    #迭代计算
    def _one_iteration(self, input_vecs, labels, rate):
        samples = zip(input_vecs, labels)
        for(input_vec, label) in samples:
            output = self.predict(input_vec) #计算激活函数值
            self._update_weights(input_vec, output, label, rate) #更新权值与偏置值
 
    #训练数据得权值、偏置值
    def train(self, input_vecs, labels, iteration, rate):
        for _ in range(iteration):
            self._one_iteration(input_vecs, labels, rate)
 
#定义激活函数  f = lambda x: x
def f(x):
    return x

 #def get_training_dataset():
 #   input_vecs = [[0.2104,3],[0.1600,3],[0.2400,3],[0.1416,2],[0.3000,4]]
 #   labels = [0.400,0.330,0.369,0.232,0.540]
 #   return input_vecs, labels

#def get_training_dataset():
#    input_vecs = [[0,0],[-0.886041760444641,0],[0.520373702049255,0],[-1.20951724052429,-1.58113884925842],[1.57518529891968,1.58113884925842]]
#    labels = [0.257084310054779,-0.440431356430054,-0.0518154688179493,-1.41695320606232,1.65211570262909]
#    return input_vecs, labels

#def get_training_dataset():
#    input_vecs = [[0.434343457221985,0.5],[0.116161584854126,0.5],[0.621212124824524,0.5],[0,0],[1,1]]
#    labels = [0.545454561710358,0.318181812763214,0.444805204868317,0,1]
#    return input_vecs, labels

#构建训练集
#def get_training_dataset():
#    input_vecs = [[5], [3], [8], [1.4], [10.1]] #输入向量列表，每一项是员工的工作年限
#   labels = [5500, 2300, 7600, 1800, 11400] # 期望的输出列表，月薪，注意要与输入一一对应
#    return input_vecs, labels

#构建训练集
def get_training_dataset():
    input_vecs = [[4.5,4.7,4.6,4.8],[4.5,4.0,4.6,4.7],[4.5,4.7,4.3,4.2],[4.7,4.6,4.5,4.3],[4.9,4.0,4.0,4.1],[4.1,4.9,4.8,4.9]]
    labels = [4.57,4.49,4.45,4.61,4.55,4.40]
    return input_vecs, labels


#构建训练集训练感知器
def train_linear_unit():
    p = perceptron(4, f)
    input_vecs, labels = get_training_dataset()
    p.train(input_vecs, labels, 5000, 0.1) #初始设置：迭代10轮，学习率是0.01
    return p


#主函数
if __name__ == '__main__':
    linear_unit = train_linear_unit()
    print(linear_unit)
    print('[学业绩点，学生工作，科研成绩，实践表现] = [4.5,4.7,4.6,4.8] 最终得分为：%.2f' % linear_unit.predict([4.5,4.7,4.6,4.8]))
    print('[学业绩点，学生工作，科研成绩，实践表现] = [4.5,4.0,4.6,4.7] 最终得分为：%.2f' % linear_unit.predict([4.5,4.0,4.6,4.7]))
    print('[学业绩点，学生工作，科研成绩，实践表现] = [4.5,4.7,4.3,4.2] 最终得分为：%.2f' % linear_unit.predict([4.5,4.7,4.3,4.2]))
    print('[学业绩点，学生工作，科研成绩，实践表现] = [5.0,5.0,5.0,5.0] 最终得分为：%.2f' % linear_unit.predict([5.0,5.0,5.0,5.0]))

运行结果2

weights :[0.592273500292354,0.09907395106529637,0.196892896023883,0.09729332034785503]
bias :0.064500
 
[绩点，学生工作，科研成绩，实践表现] = [4.5,4.7,4.6,4.8] 最终得分为：4.57
[绩点，学生工作，科研成绩，实践表现] = [4.5,4.0,4.6,4.7] 最终得分为：4.49
[绩点，学生工作，科研成绩，实践表现] = [4.5,4.7,4.3,4.2] 最终得分为：4.45
[绩点，学生工作，科研成绩，实践表现] = [5.0,5.0,5.0,5.0] 最终得分为：4.99

小结

事实上，一个机器学习算法其实只有两部分

模型 从输入特征x预测输出y的那个函数h(x)

目标函数 目标函数取最小(最大)值时所对应的参数值，就是模型的参数的最优值。很多时候我们只能获得目标函数的局部最小(最大)值，因此也只能得到模型参数的局部最优值。

运用优化算法去求取目标函数的最小(最大)值。[随机]梯度{下降|上升}算法就是一个优化算法。针对同一个目标函数，不同的优化算法会推导出不同的训练规则。

其实在机器学习中，算法往往并不是关键，真正的关键之处在于选取特征。选取特征需要我们人类对问题的深刻理解，经验、以及思考。而神经网络算法的一个优势，就在于它能够自动学习到应该提取什么特征，从而使算法不再那么依赖人类，而这也是神经网络之所以吸引人的一个方面。

alwaysuzybai
关注
专栏目录
Python代码实现线性整流函数（ReLU）
qq_39605374的博客
06-05 2031
Python代码实现线性整流函数（ReLU）ReLU是一种常见的非线性激活函数，经常用于深度学习中的神经网络。本文将介绍如何使用Python实现ReLU算法，并给出完整的源代码。一、什么是ReLUReLU（Rectified Linear Unit）是指修正线性单元，是一种比较简单的非线性激活函数。对于输入x，其表达式可以表示为：其中，max表示取两个数中的最大值。由于ReLU函数只是取了一个输入值和0之间较大的那个，所以它的计算十分简单，速度也很快。ReLU函数通常用于深度学习中的神经网络中。
Python实现卷积神经网络LeNet-5和AlexNet训练与识别.zip
09-01
Python 3.7 开发平台：Windows10 Visual Studio Code 机器学习库：torch 1.6.0 torchvision 0.7.0 辅助：CUDA 10.2，用于进行 GPU 加速 使用 torch 的 nn.Module 类的派生，可以编写 LeNet5 的结构如下：其中调用 nn...
机器学习（六）梯度下降python代码实现与梯度消失和梯度爆炸
一人白的博客
12-05 698
# 导包 import numpy as np import matplotlib.pyplot as plt %matplotlib inline 例 f = lambda x : (x - 3)**2 + 2.5*x -7.5 求解导数令导数=0求解最小值 # 导数 = 梯度 2*(x - 3)*1 + 2.5 = 0 2*x - 3.5 = 0 x = 1.75 x = np.lin...
13.线性单元和梯度下降 用python求解LMS算法 聚合theta值(出现nan值,已解决)
m0_57656758的博客
10-03 962
supervised learning➡️neural networks 神经网络改变了监督学习!
读书笔记：ReLU函数的Python代码 ← 斋藤康毅
hnjzsyjyj的专栏
01-15 215
在神经网络发展的历史上，sigmoid函数很早就开始被使用了，而最近则主要使用ReLU（Rectified Linear Unit）函数。
ReLU函数详解及反向传播中的梯度求导
热门推荐
BrightLamp的博客
11-21 4万+
1. 定义 ReLU函数, 即线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数. 其定义如下: ReLU(x)={0,x⩽0x,x>0 ReLU(x) = \left\{ \begin{array}{rr} 0, &a
OpenVINO-YOLOV4:这是OpenVINO2021.3中YOLOv4，YOLOv4-relu，YOLOv4-tiny，YOLOv4-tiny-3l，Scaled-YOLOv4的实现
05-13
C ++演示：YOLOv4，YOLOv4-relu，YOLOv4-tiny，YOLOv4-tiny-3l 开发日志 Pruned-OpenVINO-YOLO： : 修剪YOLOv3 / v4 / v4-tiny / v4-tiny-3l模型的教程（找到用于当前检测任务的最紧凑的模型结构，极大地压缩模型...
第6-1课 梯度下降算法原理与编程实现
10-17
梯度下降算法原理与编程实现 在机器学习和深度学习中，梯度下降算法是一个非常重要的概念，它广泛应用于函数优化、参数估计和模型训练等领域。在本节课中，我们将详细介绍梯度下降算法的原理和编程实现。 一、梯度...
梯度下降法实现线性回归.zip
08-25
在这个“梯度下降法实现线性回归”的主题中，我们将深入探讨如何利用梯度下降算法来求解线性回归模型的最优参数。 梯度下降法是优化算法的一种，广泛应用于机器学习和深度学习领域，尤其在解决大量数据时非常有效。...
统计学期末课程作业-python自定义实现CNN-KNN-NN-SVM网络模型源码+说明文件.zip
12-14
统计学期末课程作业_python自定义实现CNN_KNN_NN_SVM网络模型源码+说明文件.zip 【CNN实现】 cnn1.py: LeNet+ReLU; cnn2.py: 在cnn1的基础上加宽全连接层; cnn3.py: 在cnn2的基础上修改卷积核; cnn4.py: 在cnn3的...
梯度下降与ReLU激活函数
李坦(TJNU教育技术学)
09-24 3214
14.梯度下降与ReLU激活函数 14.1 梯度下降法 在数学中，梯度表示函数递增速度最快的方向，反之梯度的负方向则表示函数衰减最快的方向。因此，可以通过不断迭代使用梯度下降方法求解到函数的最小值。（可能是局部最小值，也可能是全局最小值），这取决于学习率的选择。如：为了求解函数f(x)=f(x1,x2…xn)f(x)=f(x_1,x_2\dots x_n)f(x)=f(x1​,x2​…xn​)的最小值，则可以从一个起始点：x(0)=(x1(0),x2(0),…xn(0))x^{(0)}=(x_1^{(0)}
2023.4.1 激活函数-Python实现
qq_46586095的博客
04-02 3429
激活函数是控制神经网络输出的数学函数。激活函数有助于确定是否要激活神经元。SigmoidReLULeaky ReLUTanhMaxoutELU激活负责为神经网络模型的输出添加非线性。没有激活函数，神经网络只是一个线性回归。sigmoid 激活函数sigmoid 函数的公式在 Python 中实现 Sigmoid 函数使用 Python 绘制 Sigmoid 函数使用python绘制sigmoid激活函数我们可以看出来输出介于0到1之间。
Python:实现relu线性整流函数算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-01 582
Python:实现relu线性整流函数算法(附完整源码)
ReLU和Batch Normalization解决梯度消失和梯度爆炸
最新发布
m0_69378371的博客
01-12 1046
**解决梯度消失**：在传统的 Sigmoid 和 Tanh 激活函数中，梯度在接近饱和区域（接近0或1）时非常小，导致梯度消失问题。3. **批归一化（Batch Normalization）**：批归一化可以在训练过程中规范化每一层的输入分布，有助于防止梯度消失和梯度爆炸。- **解决梯度爆炸**：类似于防止梯度消失，批归一化也可以减少梯度爆炸问题，因为它限制了每一层的激活值的范围。4. **梯度截断**：在梯度爆炸的情况下，可以应用梯度截断来限制梯度的大小，防止参数变得非常大。
实现ReLU（线性整流函数）算法
PixelShadeZ的博客
09-11 258
ReLU（Rectified Linear Unit）是一种常用的激活函数，用于人工神经网络中的非线性变换。它在输入值大于0时返回输入值本身，而在输入值小于等于0时返回0。通过定义一个简单的函数并应用数学表达式，我们可以轻松地实现ReLU的非线性变换。通过使用ReLU激活函数，神经网络可以更好地处理非线性关系，提高模型的表达能力。而输入值大于0时，输出值等于输入值本身。为了测试我们的实现，我们提供了一个包含多个输入值的列表。其中，x是输入值，f(x)是输出值。来比较输入值和0，返回较大的值。
3、ReLU激活函数
u013049912的博客
01-12 686
ReLu、LeakReLu、PReLu、ELU、SELU激活函数
深度学习常用的激活函数以及python实现(Sigmoid、Tanh、ReLU、Softmax、Leaky ReLU、ELU、PReLU、Swish、Squareplus)
qq_42025868的博客
02-22 1万+
前言 激活函数是一种添加到人工神经网络中的函数，类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 此图来自百度百科，其中step function就是激活函数，它是对之前一层进行汇总后信号进行激活，传给下一层神经元。 常用的激活函数有以下8个： 常用的8个激活函数 sigmoid Tanh ReLU Softmax Leaky ReLU ELU PReLU Swish 1. Sigmoid 如上图是Sigmoid函数的函数图像。 Sigmoid 函数的图像看起来像
【python绘图：Matplotlib模块】将图像坐标轴平移到坐标原点
小儿郎
03-26 1万+
实现将图像坐标轴平移到坐标原点 一般我们用python绘图画出来的函数图像坐标轴都是位于左下方，如下方实例： import numpy as np import matplotlib.pyplot as plt x = np.linspace(-2, 2, 100) # 定义自变量区间[-2, 2]，取点数量为100 y = np.log(1-x) # 定义需要绘图的函数为 ln（1-x...
python实现ReLU算法
lance～crazy
07-10 3545
在stackoverflow上有人讨论使用numpy快速实现relu激活函数的方法。 import numpy as np x = np.random.random((5000, 5000)) - 0.5 print("max method1:") %timeit -n10 np.maximum(x, 0) print("max method2:") %timeit -n10 np.maxim...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值