神经网络
噶噶~
这个作者很懒,什么都没留下…
展开
-
Word2vec 之 Skip-Gram 模型
最近在学习NLP,一直没弄清楚Word2vec到底是什么,直到看完如下的文章。(1) Word2vec 之 Skip-Gram 模型(结构篇):https://www.leiphone.com/category/yanxishe/PamWKpfRFEI42McI.html(2)Word2vec 之 Skip-Gram 模型(训练篇):https://www.leiphone.com/category/yanxishe/eV8j3Nu8SMqGBnQB.html(3) Word2vec 之 Skip-原创 2021-08-08 01:22:19 · 102 阅读 · 0 评论 -
马氏系列(马尔科夫过程、马尔科夫决策、隐马尔科夫模型)
马尔科夫过程马尔可夫链就是这样一个任性的过程,它将来的状态分布只取决于现在,跟过去无关!具体内容参见:https://zhuanlan.zhihu.com/p/26453269马尔科夫决策也是使用概率的情况,集合不同状态不同收益情况,计算未来的收益情况,从而为决策者们作出决策提供依据。具体内容请参见:清华大学《运筹学教程》动态规划部分最后一节内容隐马尔科夫模型HMM(Hidden Markov Model), 中文称作隐含马尔科夫模型, 因俄国数学家马尔可夫而得名. 它一般以文本序列数据为输.原创 2021-08-07 21:04:21 · 303 阅读 · 0 评论 -
什么是知识图谱
这篇文章将知识图谱描述的很容易懂:http://www.360doc.com/content/21/0223/09/54396214_963484614.shtml原创 2021-08-07 20:01:09 · 357 阅读 · 0 评论 -
为什么神经网络会出现梯度消失和梯度爆炸?
前言:如何在设置w初始值时,尽量避免梯度消失和梯度(权重的变化情况)爆炸,w设置过小则会引起梯度消失,w设置过大则会引起梯度爆炸。一般设置为【-4,4】详细情况参考下面内容: https://blog.csdn.net/zandaoguang/article/details/104958226...原创 2021-08-05 15:56:36 · 346 阅读 · 0 评论 -
迁移学习学习文档
http://121.199.45.168:8007/2/#23-nlp原创 2021-08-04 17:16:39 · 72 阅读 · 0 评论 -
自然语言处理中的Transformer和BERT
转载自:https://blog.csdn.net/SMith7412/article/details/88755019原创 2021-08-04 10:14:41 · 114 阅读 · 0 评论 -
Transformer
基本介绍(1) 是什么基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型,用于不同任务的迁移学习.(2)优势相比之前占领市场的LSTM和GRU模型,Transformer有两个显著的优势:1, Transformer能够利用分布式GPU进行并行训练,提升模型训练效率.2, 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.Transformer模型的作用Transformer的架构..原创 2021-08-04 10:13:08 · 137 阅读 · 0 评论 -
RNN架构解析
RNN 的作用:因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛应用于NLP领域的各项任务, 如文本分类, 情感分析, 意图识别, 机器翻译等.RNN的分类按照输入和输出:N vs N - RNNN vs 1 - RNN1 vs N - RNNN vs M - RNN(它由编码器和解码器两部分组成, 两者的内部结构都是某类RNN, 它也被称为seq2seq架构)按照内部构造进行分类:传统RNNLSTMBi.原创 2021-08-03 21:13:37 · 358 阅读 · 0 评论 -
“sample”, “batch”, “epoch” 分别是什么?
原创 2021-08-03 20:43:52 · 242 阅读 · 0 评论 -
HMM与CRF
作用 :一般以文本序列数据为输入, 以该序列对应的隐含序列为输出.一般用于来解决文本序列标注问题. 如分词, 词性标注, 命名实体识别.HMM 过程描述:首先, HMM模型表示为: lambda = HMM(A, B, pi), 其中A, B, pi都是模型的参数, 分别称作: 转移概率矩阵, 发射概率矩阵和初始概率矩阵.接着, 我们开始训练HMM模型, 语料就是事先准备好的一定数量的观测序列及其对应的隐含序列, 通过极大似然估计求得一组参数, 使由观测序列到对应隐含序列的概率最大.在训练过..原创 2021-08-03 19:57:22 · 97 阅读 · 0 评论 -
tensorflow使用Session模块时报错:AttributeError: module ‘tensorflow‘ has no attribute ‘Session‘,已解决
此函数只能在创建任何图、运算或张量之前调用。它可以用于从TensorFlow 1.x到2.x的复杂迁移项目的程序开头。找到了一个更简单的方法,在引用tensorflow时,直接用:import tensorflow.compat.v1 as tf原创 2021-06-26 19:33:14 · 170 阅读 · 1 评论 -
Windows10中安装GPU版本的Pytorch
https://blog.csdn.net/star_xxzeng/article/details/108920264原创 2021-06-16 19:54:03 · 48 阅读 · 0 评论 -
神经网络中的损失函数如何选择
一般,选择损失函数的标准是,损失函数能够刻画你的任务的一些insight。比如:回归问题,你希望神经网络输出的值与ground-truth的距离更近,选取能刻画距离的loss应该会更合适,比如L1 Loss、MSE Loss等 分类问题,你希望神经网络输出的类别与ground-truth的类别一致,选取能刻画类别分布的loss应该会更合适,比如cross_entropy...原创 2020-05-13 19:37:52 · 1126 阅读 · 0 评论 -
基于keras多层LSTM实现(二)
数据:链接:https://pan.baidu.com/s/1BdAY5r5AgFVkKOtDDaJipg提取码:2tzp题目: 国际航空公司的客流量的预测# LSTM for international airline passengers problem with time step regression framingimport numpyimport matplotlib.pyplot as pltfrom pandas import read_csvimport math.原创 2020-05-12 14:29:23 · 1379 阅读 · 0 评论 -
基于keras多层LSTM实现(一)
数据:链接:https://pan.baidu.com/s/1BHEG8R3ILlqvesZG5p9g_g提取码:hm52# -*- coding: utf-8 -*-"""Created on Tue May 8 14:28:43 2018@author: lichao_lc"""import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom keras.layers.core import ..原创 2020-05-12 14:14:44 · 1113 阅读 · 1 评论 -
windows10下安装Keras(CPU版)
https://blog.csdn.net/u012735708/article/details/82689281注意: 1.pip install tensorflow==1.5 这里的版本号不对,自己安装的是2.0.0 2.安装完后出现了“ModuleNotFoundError: No module named 'numpy.core._multiarray_umath...”的错误,只需要“pip install --upgrade numpy”将numpy的版...原创 2020-05-12 14:30:44 · 733 阅读 · 0 评论