![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
skystoler
不知名211在读
展开
-
机器学习理论导引 (2)
1.sup上确界,inf下确界2.对偶函数,其实就是确定目标函数最优值的下界,它必定是一个凹函数,那么问题转化为求这个下界函数的凸优化问题、3.泛化误差和经验误差学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”,评价机器学习的泛化能力...原创 2021-06-24 16:42:34 · 223 阅读 · 0 评论 -
机器学习理论导引(1)
1.凸集:看到这个词,不由联想到凸函数定义:集合内任意两点连线各点都在该集合内考虑凸多边形,二者定义关联2.凸函数代表在定义域中任一点的一阶泰勒展开是其下界3.一些数学变换能够保持函数的凸性如凸函数的自变量进行线性变换后 g(x)=f(Ax+b),该函数仍是凸函数…4.共轭函数一定是凸函数…5.重要不等式jensen不等式:期望的函数小于等于函数的期望Holder不等式Cauchy-Schwarz不等式…...原创 2021-06-23 15:34:24 · 433 阅读 · 1 评论 -
人工智能(7)自然语言处理
NLP1.发展阶段初期:有穷自动机,类似于编译最近:机器学习兴起2.语法类型递归可枚举语法上下文相关语法上下文无关语法正则语法3.CYK算法输入必须为乔姆斯基范式4.转换语法语音组件,语义组件5.系统语法考虑语言的功能和 目的6.格语法乔姆斯基语法的延伸7.语义语法8.Schank系统9.NLP中的统计方法为每棵解析树分配概率,来解决句子的歧义问题10.统计NLP的概率模型隐马尔可夫模型维特比算法:查找最可能状态序列的动态规划算法...原创 2021-06-21 13:30:00 · 154 阅读 · 0 评论 -
人工智能(6)自然启发算法
1.模拟退火(SA)模拟退火算法 伪代码s:=s0;e:=E(s)//设定目前状态为s0,其能量E(s0)k:=0//评估次数kwhile k<kmax and e>emax//若还有时间(评估次数k还不到kmax)且结果还不够好(能量e不够低)则:sn:=neighbour(s)//随机选取一临近状态snen:=Esn)//sn的能量为E(sn)if random()<P(e,en,temp(k/kmax)) then//决定是否移至临近状态sns:=sn; e:=en/原创 2021-06-21 13:07:44 · 337 阅读 · 0 评论 -
人工智能(5)产生式系统
产生式系统也称基于规则的系统,推理系统一种非常强大的知识表现形式1.强方法与弱方法强方法:通过领域特定知识组成的专家系统,例如国际象棋弱方法:通过谓词推理和符号操作等逻辑方法2.正向链接和反向链接正向:自然推导反向:从已知目标回溯...原创 2021-06-20 12:51:33 · 718 阅读 · 0 评论 -
人工智能(4)知识表示
1.图形草图非正式绘图2.人类视窗人类能够认识到的范围3.戈尼斯堡桥问题(七桥问题)描述为图,每个节点的度必须是偶数,因此路径不存在4.搜索树博弈树和决策树原创 2021-06-20 12:20:55 · 85 阅读 · 0 评论 -
人工智能(3)博弈中的搜索
博弈引入了对手来阻碍你达到目标。1.博弈树即全部的情况2.启发式评估给一个公式计算博弈结果的好坏3.博弈树的极小化极大评估4.α-β剪枝与分支定界法类似通过确定α和β值来剪枝评估博弈树的重要工具5.负极大值算法对3的改进6.渐进深化法根据剩余搜索时间来选择搜索的深度...原创 2021-06-20 11:30:34 · 575 阅读 · 0 评论 -
人工智能(2)知情搜索
1.启发法例如二维勾股定理推广到三维2.爬山法一种贪心算法山麓问题:可能困在局部最大值中,即能够看到山顶,实际却不可达高原问题:有相似的良好的局部最大值,但必须移动到另一个高原山脊问题:访问百货公司,但在错误的楼层中解决方法:回溯到上一个节点,尝试不同的方向3.最陡爬坡法有点像梯度下降4.最佳优先搜索算法维持开放列表和封闭列表封闭节点不在探索,形成解的基础开放节点是搜索边缘的节点,以后可能进一步探索解不一定是最佳5.集束搜索搜索通过搜索树逐层扩展,但只有最好的W节点得到了扩展原创 2021-06-20 10:56:51 · 676 阅读 · 0 评论 -
人工智能(1)盲目搜索
1.n皇后问题回溯法贪心算法(特例:迪杰斯特拉算法)2.旅行商问题(TSP)贪心算法将不能找到最优解分支限界算法,即统一代价搜索3.n拼图问题深度优先搜索广度优先搜索4.传教士和食人魔问题DFS,BFS5.DFS和BFS的比较优先DFS:树很深,分支因子不大,解出现的位置较深反之优先BFSDFS既不优选也不完备,空间需求合理BFS在约束下优选和完备,但空间需求大DFS-ID作为折中。同时具备二者的有利特性...原创 2021-06-19 10:10:00 · 780 阅读 · 0 评论 -
ML学习笔记(7)菜鸟仍需努力
上一篇中开始学习使用linux远程登陆服务器,并尝试了运行深度学习模型。万幸,学长已经帮忙处理好了数据集,省了很多麻烦。遇到的问题:1.CUDA error未知原因,疑似版本不适配2.out of memory后来发现用错了GPU3.第一次训练完已经生成了保存的模型文件,太粗心竟然没发现(以后需要注意避免),还是我细看代码时候发现的,说明用现成的模型需要先熟练理解,不然很容易犯错。4.由于3的原因,我第二次又进行了训练,(?后来感叹自己果然是萌新菜鸟),发现loss变成nan原创 2021-02-24 22:36:51 · 67 阅读 · 0 评论 -
ML学习笔记(6)命令
使用linux1.ssh远程登陆:ssh 用户名@服务器ip地址2.查看磁盘使用情况:df -h3.查看gpu使用情况:nvidia-smi4.指定使用的gpu:exportCUDA_VISIBLE_DEVICES=xpython train.py或CUDA_VISIBLE_DEVICES=x python train.py5.创建虚拟环境 :conda create -n xxx python=3.66.激活虚拟环境: source activate xxx...原创 2021-02-21 10:19:39 · 172 阅读 · 2 评论 -
ML学习笔记(5)DL准备
1.新建并激活gluon环境2.下载数据集并cd /d进入目录3.pip install mxnet,一直报错,后来用了豆瓣源,速度起飞直接装好4.过程中尝试重装numpy,更新pip版本等等操作。。。5.打开jupyter notebook测试下代码,报错,网上找不到类似信息,反复进行4,无果(未解决)6.直接在prompt里python,import测试代码,可以运行7.最终放弃了5,打开pycharm导入环境,代码可以运行ps:anaconda全家桶中,只有prompt可以原创 2021-01-25 17:13:05 · 115 阅读 · 1 评论 -
ML学习笔记(4)GPU,cuda和cudnn
1.什么是GPU?为什么这么多人做项目要用GPU呢?什么又是cuda?链接:https://blog.csdn.net/yizhen_nlp/article/details/107860505GPU这个概念是由Nvidia公司于1999年提出的。GPU是显卡上的一块芯片,就像CPU是主板上的一块芯片。那么1999年之前显卡上就没有GPU吗?当然有,只不过那时候没有人给它命名,也没有引起人们足够的重视,发展比较慢。自Nvidia提出GPU这个概念后,GPU就进入了快速发展时期。简单来说,其经过了以原创 2021-01-08 13:01:56 · 315 阅读 · 0 评论 -
ML学习笔记(3)pytorch血泪史
最近装pytorch差点把我送走,无数坑。具体步骤网上有很多,就说说自己遇到的这些那些问题。1.首先pytorch不能直接conda install,或者说是不方便,至于为什么,懂得都懂。尝试离线下载,全部失败。这个过程耗时一天。2.要用清华源已成基本共识,如何换源就不详细说了,注意conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch,最后的-c pytorch,要删掉的。3.报错1:http err原创 2021-01-08 09:22:11 · 1033 阅读 · 0 评论 -
ML学习笔记(2)给萌新的自己科普一下
2.pip install和conda install区别何在?什么是 pip ?pip 是 Python 中的标准库管理器。它允许你安装和管理不属于 Python标准库 的其它软件包。我找到了一下说明:Having been involved in the python world for so long, we are all aware of pip, easy_install, and virtualenv, but these tools did not meet all of our原创 2021-01-07 12:31:05 · 84 阅读 · 0 评论 -
ML学习笔记(1)初识Anaconda
本文仅从小萌新视角记录ML学习过程ML一直以来都是我心驰神往的领域,初涉其中,不免困惑,如同走进一个巨大的迷宫,找不到出口。首先记录我的各种问题及我自己尝试找到的答案1.Anaconda是啥?很多人常提起。早有耳闻。转载自https://www.jianshu.com/p/169403f7e40cconda 是开源包(packages)和虚拟环境(environment)的管理系统。 packages 管理: 可以使用 conda 来安装、更新 、卸载工具包 ,并且它更关注于数据科原创 2021-01-07 12:00:30 · 141 阅读 · 0 评论