- 博客(8)
- 收藏
- 关注
RSS订阅原创 第7章 网络优化与正则化
搭建神经网络的两个难点：（1） 优化问题：首先，神经网络的损失函数非凸，找到全局最优解通常比较困难．其次，深度神经网络的参数非常多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法， 而一阶优化方法的训练效率通常比较低．此外，深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效．（2） 泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，容易在训练集上产生过拟合．因此需要通过一定的正则化方法来改进网络的泛化能力．7.1 网络优化网络优化的两个难点：网络结构多，
2022-03-16 18:25:40
1078
1
原创 损失函数Loss Fuction
说说代价函数的作用？ 1.为得到训练模型的参数，需要一个代价函数，通过训练代价函数来得到参数。 2.用于找到最优解的目的函数。说说代价函数为什么要非负？ 因为目标函数存在下界，在优化过程当中，如果优化算法能够使目标函数不断减小，根据单调有界准则，这个优化算法就能证明是收敛有效的。 只要设计的目标函数有下界，基本上都可以，代价函数非负更为方便。说说你知道的代价函数？ 1.二次代价函数（quadratic cost）：b调整就越快，训练的速度也就越快。.
2022-03-16 12:17:26
2272
原创 ML&DL基础理论
说说你项目中怎么选择开发平台 1.主要使用PyTorch, TensorFlow。 2.与数据处理生态整合的紧密程度。是否具有方便的数据预处理工具，是否支持可视化、统计推断、数据分析。 3.对数据量及硬件的要求和支持。 4.平台的成熟度，定期维护以及社区活跃。 5.平台利用是否多样，移植性好。说说你怎么进行超参数调优的？ 1.网格搜索：让计算机尝试在一定范围内均匀分布的一组值。 2.猜测和检查：根据经验或直觉，选择参数，一直迭代。 3.随机搜索：让...
2022-03-16 01:00:36
202
原创 人工智能入门
机器学习：CS229@Stanford深度学习CS224d@Stanford是斯坦福大学博士毕业生、Salesforce首席科学家Richard Socher团队呈现的一门运用神经网络解决自然语言处理问题的课程，和CS231n应该是姐妹课程。本课程更注重RNN系列模型的运用。 CS231n@Stanford是斯坦福大学李飞飞团队呈现的一门运用神经网络解决计算机视觉问题的课程，严格来说也不需要太多基础。本课程更注重CNN系列模型的运用。 NN4ML是多伦多大学Geff Hinton教授录制的一门.
2022-03-15 18:08:44
2534
原创 如何在 Jupyter Notebook 中切换 conda 虚拟环境？
conda activate pytorch # 你想要切换的虚拟环境conda install ipykernelconda deactivateconda activate base # 默认环境conda install nb_conda_kernelsjupyter notebook注意：这里的conda install nb_conda_kernels是在 base 环境下操作的。安装好后，打开 jupyter notebook 就会显示所有的 cond...
2022-03-09 13:50:07
1853
1
原创 【基于windows和Anaconda,安装gpu版pytorch】
桌面鼠标右键进入NVIDIA控制面板--帮助--系统信息--组件--查看cuda版本为11.3进入 Anaconda prompt 命令窗口，输入conda create -n pytorch python=3.8 进入pytorch官网：PyTorch 网页下拉，即可看到下图，官网会自动根据你的电脑，显示的即是你可安装的CUDA版本，并给出安装命令。 复制官网提供的命令 conda install pytorch torchvision torchaudio ..
2022-03-08 23:46:11
951
原创 【更改pip源至国内镜像】
常用源豆瓣：http://pypi.douban.com/simple/清华：Simple Index以修改为清华镜像源为例，在windows下，直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini，（文本文件）内容如下[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple...
2022-03-08 23:21:16
295
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人