AI学习之路
关注
分享
扫一扫
个人学习AI的疑问，心得
Tardis1
奋斗
展开
-
D2L运行环境问题+anaconda 多环境
jupyter 配置多个环境原创 2023-06-30 23:37:21 · 274 阅读 · 0 评论 -
梯度消失以及爆炸引入xavier对每层输出和权重分布做限制
因此引入Xavier来限制每层输出h满足均值为1，方差为a（超参数）的分布。去掉正则，激活算下三层MLP每一层权重梯度可以看到层层相扣。具体计算不算了知道有这个就行了，pytorch引用很方便。同理也限制每层权重W满足均值为1方差为a的分布。疑问：批量归一化也做了限制，那有冲突吗。如果W太大太小层数太多就会有问题。原创 2023-06-10 14:14:49 · 122 阅读 · 0 评论 -
ReLu 和 Dropout的疑问
我就在想两者作用是不是都一样，因为都是让一些因子为0失去作用。Dropout ： h在一定概率p(超参数自己调节)下为0。同样是使得某些因子失效，可以防止过拟合。作用就是把隐藏层结果小于0的因子剔除。h在1-p的概率下为h/(1-p)而且dropout 有缩放功能。dropout 是随机。原创 2023-05-12 17:02:44 · 270 阅读 · 0 评论 -
随机森林做用户扩散模型
背景：数据：特征处理：模型设置：调参：效果：原创 2019-03-29 13:53:26 · 425 阅读 · 0 评论