深度学习
文章平均质量分 76
PengxiangZhou
https://www.linkedin.com/in/pengxiang-zhou-014469152/
展开
-
序列模型和注意力机制(Sequence models & Attention mechanism)
基础模型(Basic Models)选择最可能的句子(Picking the most likely sentence)条件语言模型集束搜索(Beam Search)改进集束搜索(Refinements to Beam Search)集束搜索的误差分析(Error analysis in beam search)Bleu 得分(选修)(Bleu Score (optional))注意力模型直观理解(Attention Model Intuition)注意力模型(Attention Mode原创 2021-08-09 16:36:24 · 423 阅读 · 0 评论 -
自然语言处理与词嵌入-吴恩达深度学习笔记
文章目录自然语言处理与词嵌入词汇表征(Word Representation)Visualizing word embeddings——t-SNE算法Properties of Word Embeddings——Cosine similarityEmbedding matrix学习词嵌入(Learning Word Embeddings)Word2VecSkip-Gram模型负采样(Negative Sampling)GloVe 词向量(GloVe Word Vectors)情感分类(Sentiment C原创 2021-08-09 16:05:56 · 359 阅读 · 0 评论 -
循环神经网络RNN知识图解-吴恩达
RNN分类RNN的训练RNN的新序列采样梯度消失——GRU and LSTMBidirectional RNN原创 2021-08-08 16:40:15 · 367 阅读 · 0 评论 -
卷积神经网络图解
卷积神经网络结构包括卷积层、池化层、全连接层,适用于包括图片在内的高维数据。卷积的优点在于参数共享和稀疏连接。原创 2021-08-06 20:01:21 · 15197 阅读 · 0 评论 -
深度学习优化算法介绍和简要代码(吴恩达)
神经网络前向传播后向传播过程 # Loop (gradient descent) for i in range(0, num_iterations): # Forward propagation: [LINEAR -> RELU]*(L-1) -> LINEAR -> SIGMOID. AL, caches = L_model_forward(X, parameters) # Compute cost.原创 2021-05-18 22:12:50 · 898 阅读 · 0 评论 -
深度学习训练目标和思考,含数据不匹配、误差分析、迁移学习、多任务学习、端到端学习介绍
深度学习训练目标和思考,含数据不匹配、误差分析、迁移学习、多任务学习、端到端学习介绍原创 2021-05-17 14:40:59 · 634 阅读 · 0 评论 -
深度学习训练目标和思考,含可避免偏差和方差
文章目录目标训练集、开发集、测试集、真实应用发集和测试集应来自同一分布开发集和测试集的大小满足和优化指标根据目标选择单一数字评估指标可能的问题如何估计可避免偏差和方差。定义目标水平错误率修正可避免偏差问题处理方差问题案例目标真正好的工程师思维清晰,对于要调整什么来达到某个效果第一步是弄清楚如何定义一个指标来衡量你想做的事情的表现,然后分开考虑如何改善系统在这个指标上的表现。第二步是瞄准和射击目标,如设计数据集、cost函数等notice: 正交化,使用不同的参数不会相互干扰,每次只调整一个因素判原创 2021-05-12 16:19:56 · 384 阅读 · 0 评论 -
深度学习-神经网络训练要点
训练数据划分在机器学习发展的小数据量时代,常见做法是将所有数据三七分,就是人们常说的70%验证集,30%测试集,如果没有明确设置验证集,也可以按照60%训练,20%验证和20%测试集来划分。数据集规模较大的,验证集和测试集要小于数据总量的20%或10%测试数据要来自同一分布因为你们要用验证集来评估不同的模型,尽可能地优化性能。如果验证集和测试集来自同一个分布就会很好。网页抓取,代价就是训练集数据与验证集和测试集数据有可能不是来自同一分布训练思路:满足偏差要求后检查方差如果网络足够大,通常可以很好原创 2021-03-27 22:45:03 · 418 阅读 · 0 评论 -
前向传播和后向传播
原创 2021-03-27 19:17:10 · 560 阅读 · 0 评论 -
深度学习-激活函数比较
激活函数类别激活函数比较sigmoid 函数a=σ(z)=11+e−za = \sigma(z)= \frac{1}{1+e^{-z}}a=σ(z)=1+e−z1tanh 函数a=tanh(z)=ez−e−ze−z+eza = tanh(z)= \frac{e^{z}-e^{-z}}{e^{-z}+e^{z}}a=tanh(z)=e−z+ezez−e−zRelu 函数a=max{0,z}a = max\{0,z\}a=max{0,z}Leaky Reluyi={xi if&原创 2021-03-27 13:37:32 · 206 阅读 · 0 评论