![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
nio006
这个作者很懒,什么都没留下…
展开
-
人岗匹配中attention机制的使用
思路首先,现在的情况是一份jd或者cv有多句话m,每句话有多个词n。首先,要解决的问题是输入向量的格式问题,embedding_shape=(batch_size,time_step,embedding_length,channel_size)其中channel_size:每份jd或者cv中包含的句子个数;time_step:每个句子中词语的个数。接着思路是,构建模型,将每个句子转为一个向量,然后将多个句子再转为一个向量。 具体模型如下,一个句子(多个时间序列性质的词语)经过双向LSTM获得原创 2020-05-11 17:05:27 · 437 阅读 · 2 评论 -
pytorch下rnn的一些思考
import torchx = torch.ones(1,1,1)b0 = torch.zeros(2,1,1)# out: 3,1,5rnn = torch.nn.RNN(1,1,num_layers=2,batch_first=False)wb4 = list(rnn.parameters())o,h =rnn(x,b0)# print(o.shape,h.shape)pr...原创 2020-03-24 23:49:07 · 141 阅读 · 0 评论 -
ubuntu18.04配置深度学习gpu环境遇到的坑
1.安装nvidia显卡驱动,1.1 先禁用nouveau1.2 执行ubuntu-drivers devices,根据推荐apt-get install(建议更换apt阿里源,速度快)1.3 reboot计算机,执行nvidia-smi,显示显卡信息—》成功。否则,显示不匹配,则重启计算机进入bios界面,将security下的boot security(好像是)由enabled改为dis...原创 2020-03-19 20:06:58 · 261 阅读 · 0 评论 -
神经网络模型在训练过程中内存超出的问题
由于配置问题的限制,在训练神经网络的过程中,电脑会很卡,甚至内存超出,这时我们就要考虑减少batch_size和padding后的seq_length和embedding_length。原创 2020-01-08 10:32:51 · 3606 阅读 · 0 评论 -
seq2seq(tf2.0版本)
import tensorflow as tf'''LSTM中,每一个细胞单元的state = (c_state,hidden_state),output就是最后一个词语细胞的state中的hidden_state'''embedding_units = 256units = 1024input_vocab_size = len(input_tokenizer.word_index)...原创 2019-12-23 22:59:36 · 1721 阅读 · 0 评论 -
特征选择之信息增益
在文本分类中利用信息增益进行特征提取信息增益体现了特征的重要性,信息增益越大说明特征越重要假设数据中有k类:每类出现的概率是:各类的信息熵计算公式:对某个词汇word需要计算word在所有类别中出现的概率:就是:出现word的文件数 除以总文件数word不出现的概率:就是没有出现word的文件数 除以总文件数条件熵的计算:这里我们用到了T表示word这个特征其中表示:出现w...原创 2019-12-11 21:26:44 · 928 阅读 · 0 评论 -
tensorflow共享变量问题
tensorflow中我们需要同一组变量去计算不同的数据,这就需要共享变量。比如下:一张相同的图片,如果不共享变量的话,经过两次相同的计算会得到不同的值,这是因为每一次计算,其权重都会重新随机生成。如果变量共享的话,第二次计算时,会发现变量以经存在,不会再随机生成了。import tensorflow as tfimage = tf.ones(shape=[1,8,8,1])def my_i...原创 2019-12-09 11:59:34 · 232 阅读 · 0 评论 -
tensorflow2.0文档教程
https://www.mashangxue123.com/tensorflow/tf2-tutorials-text-word_embeddings.html原创 2019-12-01 21:29:27 · 406 阅读 · 0 评论 -
auto-encoder
| `import osimport tensorflow as tfimport numpy as npfrom PIL import Imagefrom matplotlib import pyplot as plttf.random.set_seed(22)np.random.seed(22)os.environ[‘TF_CPP_MIN_LOG_LEVEL’] = ‘2’a...原创 2019-11-24 22:32:35 · 109 阅读 · 0 评论 -
tensorflow的reduce_mean,redece_sum,reduce_min,reduce_max的用法
import tensorflow as tfimport numpy as npx = np.array([ [1,2,3], [2,3,4]])print(x.shape)# tf.cast:转换数据形式# tf.reduce_mean:求平均值xx = tf.cast(x,tf.float32)mean_all = tf.reduce_mean(xx)#...原创 2019-09-18 15:30:00 · 298 阅读 · 0 评论 -
cnn文本分类
from lxml import etreeimport numpy as npxml_text=etree.parse('/home/wyy/PycharmProjects/wyy1/classification/data/cnews/cnews.train.xml')root=xml_text.getroot()content=[]categ=[]for article in ro...原创 2019-06-02 23:58:04 · 204 阅读 · 0 评论 -
lstm之命名实体识别ner
在这里插入# 输入# 构建loss函数# 优化optimizer# run epochimport numpy as npimport tensorflow as tffrom tensorflow.contrib.rnn import LSTMCellfrom data import *train_data=read_corpus('/home/wyy/PycharmProje...原创 2019-06-25 23:21:23 · 1506 阅读 · 0 评论 -
gensim训练word2vec
from gensim.models import word2vecraw_sentence = ['我 今天 下午 打 篮球','我 今天 下午 打 足球','我 热爱 篮球 运动','他 是 足球 运动 ']sentence = [i.split() for i in raw_sentence]print(sentence)model = word2vec.Word2Vec(sent...原创 2019-08-22 21:07:23 · 144 阅读 · 0 评论 -
神经网络怎么构建矩阵
输入:shape(2,1)中间层:shape(3,1)输出:shape(2,1)因此:W0.shape():(3,2),W1.shape():(2,3)即W0.dot(X0)—>X1, W1.dot(X1)----->X2原创 2019-08-26 20:57:25 · 1131 阅读 · 0 评论 -
RNN&&LSTM
1.读取数据2.初始化一个模型3.选择选择训练模式4.batch批次读进来放入模型中多层RNN模型原创 2019-08-31 10:25:07 · 102 阅读 · 0 评论