算法和数据结构
文章平均质量分 95
快乐小码农
热爱生活,热爱技术,做一个有态度的四有“中年人”。关注科技进步,聚焦人工智能领域的前沿研究:经典AI、NLP、机器学习、数据挖掘、推荐系统等相关技术。人生不易,勇往直前,分享生活中的小确幸。
展开
-
谷歌推出新优化器Lion:优化算法的符号发现
来自谷歌、 UCLA 的研究者提出了一种通过程序搜索发现深度神经网络训练的优化算法,来自论文《Symbolic Discovery of Optimization Algorithms》。通过数千TPU小时的算力搜索并结合人工干预,得到一个更省显存且速度更快的优化器 Lion(EvoLved Sign Momentum),其在图像分类、图文匹配、扩散模型、语言模型预训练和微调等诸多任务上做了充分的实验,多数任务都显示 Lion 比目前主流的 AdamW 等优化器有着更好的效果。原创 2023-02-20 19:37:36 · 1485 阅读 · 0 评论 -
检索模型-粗排HNSW
文章目录HNSW1. 近邻图(Proximity Graph)2. NSW算法原理2.1 NSW构图算法2.2 NSW查找算法NSW 中的贪婪搜索算法NSW中的K-NNSearch算法2.3 NSW插入算法3. 跳表结构4. HNSW 算法原理4.1 插入算法4.2 搜索当前层的最近邻4.3 截取集合中最近邻的M个结果4.4 启发式寻找最近邻4.5 KNN查询5. 算法复杂度分析6. HNSW应用工具HNSW解决的问题:做高效率相似性查找。推荐系统中,如何找到与用户query最相近的几个item,然后推原创 2021-03-19 10:21:46 · 1912 阅读 · 0 评论 -
各种优化器SGD,AdaGrad,Adam,LBFGS都做了什么?
文章目录各种优化器SGD,AdaGrad,Adam,LBFGS都做了什么?1. SGD:2. SGD+Momentum:3. NAG(Nesterov Accelerated Gradient ):4. AdaGrad(Adaptive Gradient Algorithm):5. AdaDelta:6. RMSProp:7. Adam:8. [AdaMax](https://arxiv.org/pdf/1412.6980.pdf):9. AdamW:10. SGDW:11. [AMSGrad](https原创 2021-01-15 15:39:44 · 10692 阅读 · 0 评论 -
动态规划经典问题
目录动态规划引入:Fibonacci SequenceP1:Maximum Value Continuous SubsequenceP2: Coin Change ProblemP3:Edit DistanceP4:Dynamic Time WrappingSummary动态规划参考网站:https://people.cs.clemson.edu/~bcdean/dp_practice/引入:Fibonacci Sequence对于Fibonacci Sequence:斐波那契数,通常用 F(n)原创 2020-09-15 23:33:29 · 648 阅读 · 0 评论