Mad_boys的博客

前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另...

转载文章原文链接：https://blog.csdn.net/nature553863/article/details/80568658  1、Distilling the Knowledge in a Neural NetworkHinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过...

KL散度(Kullback–Leibler divergence)KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。 转自：https://zhuanlan.zhihu.com/p/22464760参考：http://www.cnblogs.com/huangshiyu13/p/6898212.html一维高斯分布的KL散度  多...

转载自：https://www.cnblogs.com/guoyaohua/p/8724433.htmlBatch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batc...

 GraveyardTime Limit: 2000MS   Memory Limit: 65536K Total Submissions: 1452   Accepted: 751   Special Judge  DescriptionProgramming contests became so popular in the year...

Color a TreeTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 1872    Accepted Submission(s): 654Problem DescriptionBob is very in

1015: LCSTime Limit: 1 Sec  Memory Limit: 128 MBSubmit: 58  Solved: 26[Submit][Status][Web Board]Description   Giving two strings consists of only lowercase letters, find the LCS(L

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=5120题意： 给定相同的两个圆环的位置，求圆环的相交面积。思路：分解成圆的相交问题即可。设S（r1, r2）表示圆r1和r2的相交面积。第一个圆环的大小半径分别为R1，r1，第二个为R2，r2；若两圆环无相交部分，则输出0；若两圆环相交，分三种情况：1. 仅仅只有外部

Ignatius's puzzleTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 7652    Accepted Submission(s): 5326Problem DescriptionIgnatius

题目链接：http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=36239题意：给定S( i , j ) , ( i 思路：矩阵中的每个元素都可以看作是序列前缀和之差的结果，若设sum（i）为前i个元素的前缀和，则S( i, j )表示sum（j）- sum（i）的结果的符号，可以从确定关系的两个前缀和间连一

题目链接：http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=18806 题意：给一些两色（两色可相同）的珠子，珠子相连的规则是相邻珠子接触部分的颜色相同，求这样的珠子的排列顺序并输出。 思路：比较明显的欧拉回路。把一个珠子的两色连一条无向边，DFS找欧拉回路；同时按照结束访问的顺序记录访问的点，就是欧拉回...

题目链接：http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=19491题意：给一个m*n的图和一个五色的轮子，要将其从S点转到T点，每次旋转72°，即每次旋转换一种颜色与地面接触，在每个格子（x , y）上的操作只有三种：1. 往前走 2. 左转3. 右转以上3个操作每个耗时1s，已知在S点时轮子是绿

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=3534TreeTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 1144    Accepted Submission(s

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=3839代码：#include#include#includeusing namespace std;int h, k, cnt, Rec[205][55*8], map[205][55*8];int dx[4] = {1, -1, 0, 0}, dy[4] = {0, 0,

Ignatius and the Princess IITime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 5830    Accepted Submission(s): 3439Problem Description

Big NumberTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 31253    Accepted Submission(s): 14513Problem DescriptionIn many applicati

GraveyardTime Limit: 2000MS Memory Limit: 65536KTotal Submissions: 1452 Accepted: 751 Special JudgeDescriptionProgramming contests became so popular in th

Max SumTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 180760    Accepted Submission(s): 42247Problem DescriptionGiven a sequence

Shortest PathTime Limit: 3000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 4637    Accepted Submission(s): 1105Problem DescriptionWhen YY was a bo

PalindromeTime Limit: 3000MS Memory Limit: 65536KTotal Submissions: 56745 Accepted: 19626DescriptionA palindrome is a symmetrical string, that is, a string read