文章目录 神经网络的起源:线性回归 一个线性回归问题 线性回归优化方法:梯度下降 梯度计算 梯度计算总结 线性回归:输出 线性回归:局限 从线性到非线性 非线性激励 常用的非线性激励函数 tanh RELU Lecky RELU 神经元—神经网络 神经网络构建 神经元的并联和串联 神经网络优化 Tensorflow实现 神经网络“配件” 损失函数-Loss Softmax Cross entropy 自定义损失函数 学习率 动量 过拟合 应对方法:正则化 应对方法:Drop out Fine turning 神经网络的起源:线性回归 概念:线性关系描述输入到输出的映射关系 应用:网络分析,银行风险分析,基金股价预测,天气预报 一个线性回归问题 线性回归优化方法:梯度下降 梯度计算 梯度计算总结 随机初始化参数 开始循环:t=0,1,2,…… 线性回归:输出 线性回归:局限 从线性到非线性 非线性激励