Sequence Model-week1编程题2（Character level language model-Dinosaurus land）

Character level language model - Dinosaurus land

为了构建字符级语言模型来生成新的名称，你的模型将学习不同的名字，并随机生成新的名字。

任务清单：

• 如何存储文本数据，以便使用RNN进行处理。

• 如何合成数据，通过采样在每个time step预测，并通过下一个RNN-cell unit。

• 如何构建字符级文本，生成循环神经网络(RNN)。

• 为什么梯度修剪(clipping the gradients)很重要?

import numpy as np
import random
import time
import cllm_utils

1. 问题描述(Problem Statement)

1.1 数据集与预处理(Dataset and Preprocessing)

data = open('datasets/dinos.txt', 'r').read()

# 单词全转换为小写
data= data.lower()

# 转化为无序且不重复的元素列表
chars = list(set(data))
print(chars)

data_size, vocab_size = len(data), len(chars)
print('There are %d total characters and %d unique characters in your data.' % (data_size, vocab_size))

['i', '\n', 'd', 'e', 'v', 'f', 'l', 'g', 'u', 'm', 'y', 'q', 'w', 's', 'k', 't', 'a', 'h', 'o', 'n', 'r', 'x', 'j', 'z', 'c', 'b', 'p']
There are 19909 total characters and 27 unique characters in your data.

这些字符是a-z（26个英文字符）加上“\n”（换行字符），在这里换行字符起到了在视频中类似的EOS（句子结尾）的作用， 这里表示了名字的结束而不是句子的结尾。下面我们将创建一个字典，每个字符映射到0-26的索引，然后再创建一个字典，该字典每个索引映射相应的字符，它会帮助我们找出softmax层的概率分布输出中的字符。下面创建 char_to_ix 和 ix_to_char 字典。

char_to_ix = { ch:i for i,ch in enumerate(sorted(chars)) }
ix_to_char = { i:ch for i,ch in enumerate(sorted(chars)) }
print(ix_to_char)

{0: '\n', 1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e', 6: 'f', 7: 'g', 8: 'h', 9: 'i', 10: 'j', 11: 'k', 12: 'l', 13: 'm', 14: 'n', 15: 'o', 16: 'p', 17: 'q', 18: 'r', 19: 's', 20: 't', 21: 'u', 22: 'v', 23: 'w', 24: 'x', 25: 'y', 26: 'z'}

1.2 模型概述(Overview of the model)

模型结构如下：

• 初始化参数

• 运行optimization循环：

  • 前向传播 计算 loss function

  • 反向传播 计算关于 loss function 的梯度

  • 修建梯度(Clip the gradients) 避免梯度爆炸

  • 用梯度下降更新规则 更新参数

• 返回学习好的参数

Figure 1: Recurrent Neural Network.

在每个时间步, RNN 会预测给定字符的下一个字符是什么。数据集 \(X = (x^{\langle 1 \rangle}, x^{\langle 2 \rangle}, ..., x^{\langle T_x \rangle})\) 在训练集是字符的列表, 同时 \(Y = (y^{\langle 1 \rangle}, y^{\langle 2 \rangle}, ..., y^{\langle T_x \rangle})\) 在每个time-step \(t\) 也是如此。 我们有：\(x^{\langle t+1 \rangle} = y^{\langle t \rangle}\).

2. 构建模型中的模块(Building blocks of the model)

构建模型两个重要的模块：

• 梯度修建(Gradient clipping)：避免梯度爆炸(exploding gradients)

• 取样(Sampling)：一种用来生成字符的技术

2.1 梯度修剪(Clipping the gradients in the optimization loop)

在这里，我们将实现将调用的clip函数在优化循环中。整个循环结构包含：前向传播，计算cost，反向传播和参数更新。在更新参数之前，我们需要在需要时执行梯度修剪，以确保不会梯度爆炸。

接下来我们将实现一个修剪函数，该函数：输入一个梯度字典，输出一个已经修剪过了的梯度。有许多不同的方法进行梯度修剪。我们将使用 element-wise clipping procedure，梯度向量的每一个元素都被限制在[-N, N]的范围。例，有一个maxValue（比如10），如果梯度的任何值大于10，那么它将被设置为10，那么梯度的任何值小于-10，如果它在-10-10之间，则不变。

Figure 2: 在网络进入轻微的 "exploding gradient"问题，使用无梯度修剪 和 梯度修剪的可视化图。

Exercise: 实现下面的函数，返回一个修剪过后的梯度字典 gradients；函数接受 maximum threshold，并返回修剪后的梯度。

### GRADED FUNCTION: clip

def clip(gradients, maxValue):
    '''
    Clips the gradients' values between minimum and maximum.
    
    Arguments:
    gradients -- a dictionary containing the gradients "dWaa", "dWax", "dWya", "db", "dby"
    maxValue -- everything above this number is set to this number, and everything less than -maxValue is set to -maxValue
    
    Returns: 
    gradients -- a dictionary with the clipped gradients.
    '''
    
    dWaa, dWax, dWya, db, dby = gradients['dWaa'], gradients['dWax'], gradients['dWya'], gradients['db'], gradients['dby']
   
    ### START CODE HERE ###
    # clip to mitigate exploding gradients, loop over [dWax, dWaa, dWya, db, dby]. (≈2 lines)
    for gradient in [dWax, dWaa, dWya, db, dby]:
        gradient.clip(-maxValue, maxValue, out=gradient)
    ### END CODE HERE ###
    
    gradients = {"dWaa": dWaa, "dWax": dWax, "dWya": dWya, "db": db, "dby": dby}