人工智能
文章平均质量分 72
这个冬天有点冷
做技术不要一知半解,不要被自己的努力所蒙蔽,懂就是懂!
展开
-
梯度消失和梯度爆炸原理
此方法来自Hinton在2006年发表的一篇论文,Hinton为了解决梯度的问题,提出采取无监督逐层训练方法,其基本思想是每次训练一层隐节点,训练时将上一层隐节点的输出作为输入,而本层隐节点的输出作为下一层隐节点的输入,此过程就是逐层“预训练”(pre-training);相比较于之前的网络结构,残差网络中有很多跨层连接结构(shortcut),这样的结构在反向传播时多了反向传播的路径,可以一定程度上解决梯度消失的问题。梯度消失产生的主要原因有:一是使用了深层网络,二是采用了不合适的损失函数。...原创 2022-08-04 16:03:24 · 178 阅读 · 0 评论 -
bert模型源码详细解读
一.bert配置参数解读 bert_config.json{ "attention_probs_dropout_prob": 0.1, #乘法attention时,softmax后dropout概率 "directionality": "bidi", "hidden_act": "gelu", # 激活函数 "hidden_dropout_prob": 0.1, #隐藏层dr...原创 2020-04-28 19:14:13 · 4541 阅读 · 0 评论 -
【深度学习】深入理解Batch Normalization批标准化
https://www.cnblogs.com/guoyaohua/p/8724433.html转载 2020-04-13 16:33:53 · 145 阅读 · 0 评论 -
双向bidirectional_dynamic_rnn()之 tf.reverse_sequence()详述
在看bidirectional_dynamic_rnn()的源码的时候,看到了为何可以双向的核心代码reverse_sequence(),下面就来说说双向bidirectional_dynamic_rnn()是如何进行反转的。reverse_sequence( input, seq_lengths, seq_axis=None, batch_axis=None, name=N...原创 2020-04-10 11:55:57 · 203 阅读 · 0 评论 -
训练,验证,测试模型
# coding: utf-8from BilstmModel.BilstmModel import BilstmModelfrom BilstmModel.cnn_model import TextCNNfrom DataProcess.DateProcess import process_file, build_word_to_id, build_lables_to_id, batch_...原创 2020-04-07 17:41:22 · 330 阅读 · 0 评论 -
NLP分类常用模型(三):bert 提取特征 + 全连接tf.layers.dense()
bert提取句向量特征:from bert_serving.client import BertClient# message 这个表示一个batch_size(cporch)数据 def _get_message_text(self, message): all_tokens = [] # msg 是某一句话 for msg in me...原创 2020-04-07 17:27:46 · 3517 阅读 · 0 评论 -
NLP分类常用模型(二):rnn多层 tf.nn.dynamic_rnn()+ 全连接tf.layers.dense()
"""文本分类,RNN模型""" def __init__(self): # 三个待输入的数据 self.x = tf.placeholder(tf.int32, [None, config.max_seq_length], name='x') self.y = tf.placeholder(tf.float32, [None, config...原创 2020-04-07 17:16:34 · 520 阅读 · 0 评论 -
NLP分类常用模型(一):一维卷积tf.layers.conv1d() + 全连接tf.layers.dense()
class TextCNN(object): """文本分类,CNN模型""" def __init__(self): # 三个待输入的数据 self.x = tf.placeholder(tf.int32, [None, config.max_seq_length], name='input_x') self.y = tf.pla...原创 2020-04-07 17:14:22 · 950 阅读 · 0 评论 -
tf.nn.conv1d()详细正确解析
一维卷积处理文本,在某些场合,效果非常好函数定义如下:tf.layers.conv1d(inputs,filters,kernel_size,strides=1,padding='valid',data_format='channels_last',dilation_rate=1,activation=None,use_bias=True,kernel_initialize...原创 2020-04-07 16:50:47 · 10436 阅读 · 4 评论 -
python处理数据库append和extend的核心区别
c = []a = ['11','2','33']b = ['aa','b','cc']c.append(a)c.append(b)print(c)输出的结果是:[['11', '2', '33'], ['aa', 'b', 'cc']]c = []a = ['11','2','33']b = ['aa','b','cc']c.extend(a)c.extend(b)pr...原创 2020-03-31 10:21:42 · 264 阅读 · 0 评论 -
tensorflow 使用THUCNews数据子集语料完成文本分类
https://blog.csdn.net/weixin_41781408/article/details/88082213原创 2020-03-25 10:05:48 · 472 阅读 · 0 评论 -
使用bert预训练模型进行微调预测,完成文本分类
https://blog.csdn.net/clnjust/article/details/100514231原创 2019-11-20 10:19:17 · 2125 阅读 · 0 评论 -
将文件前多少行或隔几行读取到另一个文件
n=0with open('D:\AllData\cnews\\train.tsv',"r", encoding='UTF-8') as f: with open("train.tsv", "w", encoding='UTF-8') as f1: for line in f.readlines(): n=n+1 if n <15: ...原创 2019-11-12 09:34:31 · 500 阅读 · 0 评论 -
Transformer个人详细总结
一 .encode部分 Transformer参数变换表示首先给一个输入序列,输入也就是输入的Batch_size个句子,其shape为input = [N,T_q],也就是[batch_size = 32,max_length = 15]设置权重矩阵的大小,即Embeding = [vocab_size,num_units],也就是[vocab_size,512],通过tf.nn.emb...原创 2019-01-07 18:35:48 · 4240 阅读 · 1 评论 -
tensorflow-gpu 下载和安装
如果你想要GPU 进行训练的话,那你必须要有三个东西:1.tensorflow-gpu2.cuda3.cudnn注意:tensorflow-gpu,cuda和cudnn这两个版本号有着相互依赖的关系CUDA8.0 不支持tensorflow 1.5及以上,所以建议安装CUDA9.0安装的话就是在官网下载安装下载过之后:需要安装这两个 ,然后将这两个分别解压安装,解压安装之后,重...原创 2019-01-14 10:10:29 · 654 阅读 · 1 评论 -
tf.nn.embedding_lookup()详解
tf.nn.embedding_lookup(tensor,id)这个函数一般用于通过输入input_x的值,来获取权重大矩阵里面的每个字的向量。a = tf.Variable(tf.random_normal([3,5],7,1))b = tf.Variable(tf.nn.embedding_lookup(a,[0,2,1,0]))with tf.Session() as sess:...原创 2018-12-12 12:00:51 · 1221 阅读 · 2 评论 -
jieba分词自定义dict字典
下面是没有加入字典之前:import jiebatext = "我想知道区块链有什么用"a= jieba.cut(text)print("/".join(a))===》我/想/知道/区块/链有/什么/用下面是加入字典之后:首先要在同一个包下面创建一个tet文件,然后里面写上你要不分开的词,词频,词性(可省略)如 块链 3 n 将 块链 这个词切割开再用jieb...原创 2019-03-14 18:17:13 · 5308 阅读 · 3 评论 -
Rasa 项目总结
**介绍:我做的是rasa项目中的数据处理不部分,以及实体提取和意图识别部分,整个项目参考的是rasagao,可以用 pip install rasa-nlu-gao **一. 关于数据处理部分关于数据生成我用的是Chatito,https://github.com/GaoQ1/chatito_gen_nlu_data 这个里面包含了该用法二. 数据分词处理在这个项目中,数据分词中用的是...原创 2019-04-25 11:49:29 · 2479 阅读 · 2 评论 -
深度学习中的注意力模型
https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216原创 2019-06-10 16:20:30 · 375 阅读 · 0 评论 -
Transformer文本翻译小技术点总结(实用)
1.tf.transpose(input, [0,2,1])这个就表示 将input这个Tensor的第1个维度与第2个维度交换,交换之后便可以相乘2. tf.abs(a) 这个就是取a里面的绝对值.3. tf.sign(x)如果x &lt; 0,则有 y = sign(x) = -1;如果x == 0,则有 0 或者tf.is_nan(x);如果x &gt; 0,则有1。如果x &lt;...原创 2018-12-24 17:52:57 · 891 阅读 · 1 评论