zztSky

https://stats.stackexchange.com/questions/324992/how-the-embedding-layer-is-trained-in-keras-embedding-layer

https://stackoverflow.com/questions/54048388/keras-why-must-an-embedding-layer-be-used-only-as-the-first-layer

首先，如果训练集较小，直接使用batch梯度下降法，样本集较小就没必要使用mini-batch梯度下降法，你可以快速处理整个训练集，所以使用batch梯度下降法也很好，这里的少是说小于2000个样本，这样比较适合使用batch梯度下降法。不然，样本数目较大的话，一般的mini-batch大小为64到512，考虑到电脑内存设置和使用的方式，如果mini-batch大小是2的次方，代码会运行地快一些，64就是2的6次方，以此类推，128是2的7次方，256是2的8次方，512是2的9次方。所以我经常把mini-

对于求梯度的公式为什么呢除以2 ϵ建议从泰勒展开去理解，二阶精度更高。参考：梯度检验

在机器学习中，超参数激增，选出可行的算法也变得越来越复杂。我发现，如果我们用一组工具优化代价函数J，机器学习就会变得更简单，在重点优化代价函数时，你只需要留意w和b，J(w,b)的值越小越好，你只需要想办法减小这个值，其它的不用关注。还要注意过拟合。但early stopping的主要缺点就是你不能独立地处理这两个问题，因为提早停止梯度下降，也就是停止了优化代价函数，因为现在你不再尝试降低代价函数，所以代价函数的值可能不够小，同时你又希望不出现过拟合，你没有采取不同的方式来解决这两个问题，而是用一种方法同

什么是dropoutdropout被正式地作为一种正则化的替代形式，L2正则化对不同权重的衰减是不同的，它取决于倍增的激活函数的大小。dropout的功能类似于正则化，与L2正则化不同的是，被应用的方式不同，dropout也会有所不同，甚至更适用于不同的输入范围。注意keep-prob的值是1，意味着保留所有单元，并且不在这一层使用dropout，对于有可能出现过拟合，且含有诸多参数的层，我们可以把keep-prob设置成比较小的值，以便应用更强大的dropout，有点像在处理正则化的正则化参数，我们

import tensorflow as tfimport numpy as npimport unicodedataimport reraw_data = ( ('What a ridiculous concept!', 'Quel concept ridicule !'), ('Your idea is not entirely crazy.', "Votre idée n'est pas complètement folle."), ("A man's worth l

1.下面讲解一个基于图自编码器实现简单的推荐任务的例子。推荐系统要建立的是用户与商品之间的关系，这里我们以简化后的用户对 商品的评分为例进行介绍，如图下图假设用户与商品之间的交互行为只 存在评分，分值从1分到5分。如果用户u对商品v进行评分，评分为r， 就是说用户u与商品v之间存在一条边，边的类型为r，其中r∈R。基于 这种交互关系对用户进行商品推荐实际上就是要预测哪些商品与用户之 间可能存在边，这样的问题称为边预测问题。对于这种边预测问题，我 们将其看作矩阵补全问题，用户与商品之间的交互行为构成了一个二部

import osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import Sequential, layersfrom PIL import Imagefrom matplotlib import pyplot as plttf.random.set_seed(22)np.random.seed(22)os.envi

import osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import layers, losses, optimizers, Sequentialtf.random.set_seed(22)np.random.seed(22)os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'assert tf.__

import osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import layerstf.random.set_seed(22)np.random.seed(22)os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'assert tf.__version__.startswith('2.')batc

import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers, Sequentialclass BasicBlock(layers.Layer): def __init__(self, filter_num, stride=1): super(BasicBlock, self).__init__() self.conv1 = l

import tensorflow as tffrom tensorflow.keras import layers, optimizers, datasets, Sequentialimport osos.environ['TF_CPP_MIN_LOG_LEVEL']='2'tf.random.set_seed(2345)conv_layers = [ # 5 units of conv + max pooling # unit 1 layers.Conv2D(64

import tensorflow as tffrom tensorflow.keras import datasets, layers, optimizers, Sequential, metricsfrom tensorflow import kerasimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'def preprocess(x, y): # [0~255] => [-1~1] x = 2 * tf.

# -*- coding: utf-8 -*-import osimport torchimport torch.nn.functional as Fimport torch.nn as nnfrom torch_geometric.datasets import Planetoidimport torch_geometric.nn as pyg_nnimport torch_geometric.transforms as T# load datasetdef get_data(fo

softmax先mark一下 过段时间整理一下