ML、DL、CNN学习记录5

---

---

ML、DL、CNN学习记录4

Time/Spatial：
SimpleRNN
LSTM
GRU

RNN <—> Attention/Transformers

RNN

RNN类别

many to one：文本分类、股价预测
many to mary：语音识别（语音->文字）、语音合成（文字->语音）、翻译

Word 表示

1. 分词(jieba、spacy、NLTK、HanLP)
2. word -> token
3. one-hot编码（并不是很好用，相似度度量的时候不好处理，过于稀疏）
4. 相似度度量（欧式距离、夹角余弦…）

编码

one-hot编码

词嵌入（word Embedding）：将词的向量 映射到 一个n维空间

Morkov model：
一阶Morlov：$w_i$只与$w_{i-1}$有关
二阶Morlov：$w_i$只与$w_{i-1}{w}_{i-2}$有关
…
x阶Morlov：$w_i$只与$w_{i-1}{w}_{i-2}...w_{i-x+1}$有关
$$w_1{w}_2{w}_2{w}_3{w}_4...w_m$$

skip-gram：
环境决定我：

$$w_{i-x+1}{w}_{i-x+2}...w_{i-1}+w_{i+1}{w}_{i+2}...w_{i+x}⟶w_i$$

CBOW（连续词带模型）

我决定环境（当前词预测周边词）：

$$w_i⟶w_{i-x+1}{w}_{i-x+2}...w_{i-1}+w_{i+1}{w}_{i+2}...w_{i+x}$$

10000dim - 100dim

通过神经网络学习全连接矩阵W，可将word2vec添加到模型的某层

tf.nn.embedding_lookup(Params, ids, pertition_strategy='mod', max_norm=None)
# params:词向量矩阵；
# 按照找ids获取params中的行，ids为矩阵行号（index）
# max_norm允许使用L2范式缩放params中原向量：x*max_norm/norm(x)

note：一般使用缩放one-hot编码到 64-256的范围里

RNN基本运算

RNN基本运算：

Input/Output：

LSTM：

---

---

imdb

文本处理的重要数据集

流程：

# coding: utf-8

import keras
from keras.models import Sequential
from keras.layers import Embedding, SimpleRNN, LSTM, Dense
from keras.datasets import imdb
# 辅助函数（帮助）
from keras.preprocessing import sequence
import matplotlib.pyplot as plt
from time import time


t_start = time()
max_features = 10000  # number of words to consider as features
maxlen = 500  # cut texts after this number of words
batch_size = 32

# 获取imdb文本数据
# 限定文本的维度 为： max_features
(input_train, y_train), (input_test, y_test) = imdb.load_data(num_words=max_features)
print(len(input_train), 'train sequences')
print(len(input_test), 'test sequences')

print(y_train.shape)
print(y_train[:100])
# 输出文本
# 首先需要构建文本的一个词典
# 每个词都有一个编号
word_index = imdb.get_word_index()
# 根据词来查找编号
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
# note that our indices were offset by 3 because 0, 1 and 2 are reserved indices for "padding", "start of sequence", and "unknown".
decoded_text = ' '.join([reverse_word_index.get(i - 3, '?') for i in input_train[0]])
print('第一个文本：\n', decoded_text)

print('Pad sequences (samples x time)')
# 做一个padding，进行数据的修正（多了删掉，少了填充）
# 文本长度可能不一样，所以需要这一步操作
input_train = sequence.pad_sequences(input_train, maxlen=maxlen)
input_test = sequence.pad_sequences(input_test, maxlen=maxlen)
print('input_train shape:', input_train.shape)
print('input_test shape:', input_test.shape)

# 建立模型 使用Embedding，LSTM层
model = Sequential()
# Embedding，将max_features维度降到 32 维
model.add(Embedding(max_features, 32))
# LSTM
model.add(LSTM(64, return_sequences=True))
model.add(LSTM(32))  # SimpleRNN(32)
# 全连接层
# 多分类使用 softmax
# model.add(Dense(10, activation='softmax'))
# 单分类使用 sigmoid
model.add(Dense(1, activation='sigmoid'))
# 编译模型
model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
history = model.fit(input_train, y_train, epochs=10, batch_size=128, validation_split=0.2)
t_end = time()
print('耗时：%.3f秒。', (t_end - t_start))

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(len(acc))
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.savefig('acc.png')

plt.figure()
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.savefig('loss.png')
plt.show()

模型一般就2、3、4层，并不需要太深。

文本生成模型

---

汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字汉字

---

不同的文字集合生成字典
前面n个词（词：向量）预测第n+1个词

话说天下大势，分久必合，合久必分。周末七国分争，并入于秦。及秦灭之后，楚、汉分争，又并入于汉。汉朝自高祖斩白蛇而起义，一统天下，后来光武中兴，传至献帝，遂__
已知之前的一句话（n个词），预测第n+1个词。

模型示例

W_hh,W_hy,W_xh 是被复用的。