- 博客(75)
- 收藏
- 关注
RSS订阅原创 人工智能-现代方法（五）
（2）重要性采样：有一个推理比较难理解，最终的结论是：对事件的每个变量依次采样，对于非证据变量，按照贝叶斯网络条件分布采样，对于证据变量，取证据变量的固定值，同时计算一个权重，权重是这个证据变量值的贝叶斯条件概率，最终这个样本的权重是全部证据变量的权重乘积。吉布斯采样的一个重点是，只改变一个变量，而不能多个变量同时改变，最后证明到吉布斯采样的一般定义满足平稳分布等于P(X|e)的细致平衡公式，所以达到平稳分布时，平稳分布概率就是后验分布概率P(X|e) （每个状态是一组非证据变量组成的实例）
2026-06-11 20:39:54
205
原创 AI论文阅读（一）《Long Context Pre-Training with Lighthouse Attention》
可以再分别去看看相关的研究。设定一个池化因子p，往上每一层的窗口大小就是下面一层窗口大小*P，窗口不会重叠，窗口框住下面一层的元素，做平均池化，算平均值，作为这一层的窗口的Q、K、V（重新进行了计算，所以每个窗口框住的不管是原始序列的几个元素，算出来都是一个节点，一个QKV）。知道了原来多头注意力不是随便对矩阵做分块的，是直接训练多个W映射，将输入映射到多个低纬度的QKV，所以虽然是低纬度的QKV，但还是包括了输入的全部内容，然后通过不同的W参数，构建出来多块QKV可能包含了原始输入的很多不同层面的特征。
2026-06-05 21:49:22
245
1
原创 人工智能-现代方法（四）
本文摘要总结了概率推断的核心概念与方法。首先介绍了概率推断的基本思路是通过完全联合分布计算后验概率，但这种方法复杂度极高。随后阐述了通过独立性假设、贝叶斯法则和贝叶斯网络来简化计算过程。重点讲解了贝叶斯网络的构建方法、条件独立性关系，以及精确推断和近似推理两种计算方式。其中精确推断虽然准确但计算量大，而蒙特卡罗采样等近似方法能在保证精度的前提下提高效率。文章最后指出这些概念构成了概率推断的理论框架，但部分内容如采样方法仍需进一步理解。
2026-05-27 00:01:44
367
原创 人工智能-现代方法（三）
本文摘要：文章首先介绍了神经网络中反向传播算法的原理，指出深层网络可能面临梯度消失问题。其次说明现代深度学习框架支持自动微分，促进了端到端学习方法的发展。接着讨论了概率论在深度学习中的应用，包括负对数似然损失函数和贝叶斯学习。然后对比了逻辑与概率论在本体论和认识论上的差异，强调概率论在处理不确定性推理中的优势。最后阐述了概率论的基本概念和公理体系，包括联合概率分布、决策理论等，为后续贝叶斯推理奠定基础。文章还提及了注意力机制在Transformer模型中的重要性。
2026-05-19 22:24:24
236
原创 人工智能-现代方法（二）
本文摘要：文章探讨了深度学习的基本原理与应用。首先介绍了深度学习通过调整复杂代数电路的连接强度来拟合真实数据（21章），然后说明线性回归通过最小化平方误差损失函数确定参数（19章），并涉及梯度下降优化方法。接着阐述了前馈网络的结构特点（21章），强调激活函数的非线性对网络表达能力的关键作用，指出足够大的网络可以表示任意函数关系。最后反思了数学理论在工程应用中的价值，并讨论了当前AI领域硬件与软件发展的不同侧重点。
2026-05-14 21:55:31
249
原创 人工智能-现代方法（一）
本文记录了阅读《人工智能-现代方法》的学习笔记，主要探讨了AI学习的核心概念。重点分析了归纳与演绎两种学习路径，指出当前主流的深度学习更接近归纳原理。详细介绍了监督学习、无监督学习和强化学习三种学习类型，以及假设函数、泛化能力、偏差-方差权衡等关键概念。同时对比了原子表示、因子化表示和结构化表示三种状态表示方法。文章还讨论了AI的定义，强调概率论和逻辑推理作为两大发展方向，并分享了通过书籍系统学习与AI辅助学习相结合的阅读方法。
2026-05-12 22:20:38
231
原创 我回来了
背景正在钉钉参加一个部门培训，无聊之下打开浏览器看到CSDN有几条信息，就点进来了。为什么会看到CSDN的界面，因为前阵子在一个项目要了解数据库的一些东西，搜索了Oracle主备之类的信息，就打开了一篇CSDN的文章。发现自己多了几个赞和粉丝，就疑惑这么个小白怎么会有赞，是不是机器人。点开自己的界面，看到2017年那会疯狂发布了近70篇博客，大部分是转发的，但是也不乏一些自己虽然较浅、也算得上是的思考。有一些转发的文章很有价值，现在看起来都觉得有点振奋。那时候转发的文章有不少是《程序人生》、《通信十年》
2020-06-06 11:35:49
394
1
转载 设置redis访问密码（转）
在服务器上，这里以linux服务器为例，为redis配置密码。1.第一种方式 （当前这种linux配置redis密码的方法是一种临时的，如果redis重启之后密码就会失效，）（1）首先进入redis，如果没有开启redis则需要先开启：[root@iZ94jzcra1hZ bin]# redis-cli -p 6379127.0.0.1:6379>（2）查看当前redis有没有设置密码：127.0.0.1:6379> config get requirepass“requirep
2020-06-06 10:30:02
693
转载 Javascript概述
是的， 我就是鼎鼎大名的Javascript, 典型的高富帅，前端编程之王，数以百万计的程序员使用我来编程。 如果你没有用过我就太out了。 不过当我是一个屌丝时， 真的没有想到能发展到如今的地位…… 第一章：出世我出生在上古时代的浏览器Netscape中， 那个时候的网页真是乏善可陈， 你可能都想象不到， 主要是些丑陋的静态文本和简单的图片， 和现在美轮美奂的页面相比，差的实在太远了， 不信你
2017-08-23 22:21:12
545
转载 阿里面试（二）
一面：(8月1号上午：电话面试：80分32秒) 1.自我介绍？2.做过哪些项目？项目中遇到哪些难点，你是怎样解决的？单点登录系统说一下？分布式缓存的使用场景？(说好的基础呢，上来就是项目，毫无准备，导致好多东西都记不起来了。面试官还说“那你说一个你记得的项目”，手动无奈。。。)3.你实习的时候JDK用的是那个版本，这个版本有什么新的特性？4.G1回收器和其他回收器有什么区别？5.垃圾回收为什么会停
2017-08-23 22:20:26
1285
转载 阿里面试经验（一）
引言其实本来真的没打算写这篇文章，主要是LZ得记忆力不是很好，不像一些记忆力强的人，面试完以后，几乎能把自己和面试官的对话都给记下来。LZ自己当初面试完以后，除了记住一些聊过的知识点以外，具体的内容基本上忘得一干二净，所以写这篇文章其实是很有难度的。但是，最近问LZ的人实在是太多了，为了避免重复回答，给自己省点力气，干脆就在这里统一回复了。其实之前LZ写过一篇文章，但是那篇文章更多的是在讨论“面试前
2017-08-23 22:19:40
5246
1
转载 程序人生（）
前言文中的培训均指代内部技术培训 本文是对《如何优化程序员的内部培训》的补充，但不需要前置阅读，可以读完本文再回过头来看看。http://blog.csdn.net/hursing/article/details/50147549 例子是针对iOS、Android客户端开发的，但不影响前后端的同学理解。 培训的发展过程培训的内容是技术知识，要了解培训的发展，首先要知道技术的发展。技术从无到有再
2017-08-21 16:09:28
539
原创 10
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:07:13
400
原创 9
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:07:02
331
原创 8
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:06:51
297
原创 7
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:06:35
282
原创 机器学习6
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:06:17
301
原创 机器学习5
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143 作者丨Andrew C. Oliver 翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。你不是一个数据科学家。“
2017-08-15 22:06:03
350
转载 面试
其实本来真的没打算写这篇文章，主要是我得记忆力不是很好，不像一些记忆力强的人，面试完以后，几乎能把自己和面试官的对话都给记下来。我自己当初面试完以后，除了记住一些聊过的知识点以外，具体的内容基本上忘得一干二净，所以写这篇文章其实是很有难度的。但是，最近问我的人实在是太多了，为了避免重复回答，给自己省点力气，干脆就在这里统一回复了。其实之前我写过一篇文章，但是那篇文章更多的是在讨论“面试前该不该刷题”
2017-08-15 22:04:27
561
转载 面试经历
惭愧，从一次电面说起。我个人在某国企做一名软件设计师，国企大家都懂的，待遇一般而且没啥意思，做的方向基本都是操作系统、驱动和工具软件的开发，语言基本都是C/C++。最近也想跳槽，刚好有幸得到了一次阿里的面试机会，于是就试了试。 首先是电话面试，当时正在上班，人多口杂，好不容易找了个没人的地方开始面试。面试的方向是Java Web，面试官很nice，跟朋友一样，一开始问了些比较基础的东西，比如h
2017-08-10 23:35:34
549
转载 JAVA进阶
想要精通Java，成为Java高手，需要不断的学习和积累。本文给出了Java学习过程中需要注意的25个学习目标，希望可以给您带来帮助。你需要精通面向对象分析与设计(OOA/OOD)、涉及模式(GOF，J2EEDP)以及综合模式。你应该了解UML，尤其是class、object、interaction以及statediagrams。你需要学习Java语言的基础知识以及它的核心类库(collecti
2017-08-10 23:33:30
294
转载 java书籍
学习的最好途径就是看书“学习的最好途径就是看书”，这是我自己学习并且小有了一定的积累之后的第一体会。个人认为看书有两点好处：1、能出版出来的书一定是经过反复的思考、雕琢和审核的，因此从专业性的角度来说，一本好书的价值远超其他资料2、对着书上的代码自己敲的时候方便“看完书之后再次提升自我的最好途径是看一些相关的好博文”，我个人认为这是学习的第二步，因为一本书往往有好几百页，好的博文是自己看书学习之后的
2017-08-10 23:26:56
416
原创 学生票
今年暑假回家、回校取学生票遇到一些麻烦，问题是我的优惠卡刚充了磁，取票却说我的优惠次数用完了。也就是说，要取学生票除了满足优惠卡有磁的条件，还要满足一年的乘坐次数在4次以下。令人混乱的是，这个一年还不是以自然年来计算的，而是以学年。否则今年第三次买学生票的我不可能遇到这个麻烦，每张票要补上50RMB。问题的根本是以学年计算，也就是暑假回校的车票算是一学年的第一次。而去年我在国庆时候也买了学生票，9
2017-08-10 10:16:11
532
转载 知道做到，三层大脑
熟悉的场景 2017年伊始，一个午饭桌上，我的一位同事信誓旦旦的说：“今年我的目标是学习英语；出去旅游2次；找到一个女朋友”，另一个说：“我的目标是提高书写的能力；写博客；在技术上深入提高”。还有一个说：“我要利用业余时间挣10万块钱”。一桌7个人，每人都讲了一遍新年目标，大家纷纷点头，信心满满。 现在是2017年的8月份，一年过半。仔细回想下，你还能想起你年初的小目标吗？还记得写在你笔记本上的
2017-08-10 00:00:41
2752
转载 八种值得尝试的编程语言
目前，软件开发人员正在使用大量不同的编程语言，大多数工作需要熟悉很多技能，如Java、JavaScript、PHP和C＃。然而，随着软件需求的发展，新的和尚未被普遍接受的编程语言越来越突出，为程序员提供了针对某些工作的正确工具。预测哪些语言最终会上升到编程语言排行榜的顶部是困难的，很多语言的受欢迎指数都呈上升趋势，以下是八种目前还没有大火的编程语言竞争力分析，看起来未来几年将在在企业中发挥巨大作用。
2017-08-09 23:42:36
886
转载 近5年java面试题
Java 面试随着时间的改变而改变。在过去的日子里，当你知道 String 和 StringBuilder 的区别就能让你直接进入第二轮面试，但是现在问题变得越来越高级，面试官问的问题也更深入。 在我初入职场的时候，类似于 Vector 与 Array 的区别、HashMap 与 Hashtable 的区别是最流行的问题，只需要记住它们，就能在面试中获得更好的机会，但这种情形已经不复存在。如今，你将
2017-08-09 23:36:38
2361
转载 java深入
宏观上：1.技术广度方面 至少要精通多门开源技术吧，研究过struts\spring等的源码。2.项目经验方面 从头到尾跟过几个大项目，头是指需求阶段，包括需求调研。 尾是指上线交付之后，包括维护阶段。3.架构经验方面 有过分布式系统的架构和开发经验。对于跨系统的结构优化，数据存储的性能指标等有丰富经验。什么缓存啊、数据库的垂直切分什么的，业务的抽象和水平拆分啊，这些应该都轻车熟路吧。4.行
2017-08-09 23:33:39
539
转载 大型网站技术架构
概述1 架构演化 大型网站的关注指标 高可用高性能易扩展可伸缩安全大型网站的特点 高并发，大流量高可用海量数据用户分布广泛，网络情况复杂安全环境恶劣需求快速变更，发布频繁渐进式发展大型网站架构演化发展过程 初始阶段，多使用LAMP来搭建，All In One即所有资源存放在一台服务器上应用服务和数据服务分离，有独立的数据库服务器使用缓存改善网站性能（依据是二八定律：80%的业务访问集中在20
2017-08-09 23:32:49
488
转载 java学习五个阶段
学习Java的路线图的五个必经阶段对于Java初学者来说，想学习Java教程，需要明白，基础打好才能学得更好，Java教程之学习Java的路线图的五个必经阶段，希望能对Java学习者有所帮助。 第一个阶段-java基础阶段 1.java语法 2.面向对象 3.常用的api 4.界面编程 5.多线程 6.文件io 7.java网络编程..
2017-08-09 23:29:07
1944
转载 java学习路线图
前段时间应因缘梳理了下自己的 Java 知识体系， 成文一篇望能帮到即将走进或正在 Java 世界跋涉的程序员们。第一张，基础图大约在 2003 年我开始知道 Java 的（当时还在用 Delphi），但到 2004 年本科毕业才开始正式决定学习 Java。 那时觉得用 Delphi 写 C/S 架构的程序没什么意思，Java 当时提出的 J2EE 规范概念，企业级架构感觉各种高大上，压抑不住内心的
2017-08-09 23:27:48
495
转载 多线程面试
在任何Java面试当中多线程和并发方面的问题都是必不可少的一部分。如果你想获得任何股票投资银行的前台资讯职位，那么你应该准备很多关于多线程的问题。在投资银行业务中多线程和并发是一个非常受欢迎的话题，特别是电子交易发展方面相关的。他们会问面试者很多令人混淆的Java线程问题。面试官只是想确信面试者有足够的Java线程与并发方面的知识，因为候选人中有很多只浮于表面。用于直接面向市场交易的高容量和低延时的
2017-08-09 23:19:55
246
转载 java进阶
怎样学习才能从一名Java初级程序员成长为一名合格的架构师，或者说一名合格的架构师应该有怎样的技术知识体系，这是不仅一个刚刚踏入职场的初级程序员也是工作三五年之后开始迷茫的老程序员经常会问到的问题。希望这篇文章会是你看到过的最全面最权威的回答。一： 编程基础不管是C还是C++，不管是Java还是PHP，想成为一名合格的程序员，基本的数据结构和算法基础还是要有的。下面几篇文章从思想到实现，为你梳理出常
2017-08-09 23:16:49
249
转载 java学习建议
给初学者之一：浅谈java及应用学java不知不觉也已经10年了从不知java为何物到现在一个小小的j2ee项目经理虽说不上此道高手，大概也算有点斤两了吧每次上网，泡bbs逛论坛，没少去java相关的版面总体感觉初学者多，高手少，精通的更少由于我国高等教育制度教材陈旧，加上java自身发展不过十年左右的时间还有一个很重要的原因就是java这门语言更适合商业应用所以高校里大部分博士老师们对此语言的了解
2017-08-09 23:15:48
519
原创 java学习资源
想要加强你的编程能力吗？想要提升你的 Java 编程技巧和效率吗？不用担心。本文将会提供快速高效学习 Java 编程的 50 多个网站资源：开始探索吧：1、MKyong：许多开发者在这里可以找到带文字说明和图解的示例代码。这是一个探索各种框架的平台。不管是否用于商业使用，你都可以从这里下载免费的工具。前往 MKyong2、Programmingbydoing：包含超过 100 篇文章，对具有争议的问
2017-08-08 09:33:46
750
转载 c++学习网站
转载 C/C++是最主要的编程语言。这里列出了50名优秀网站和网页清单，这些网站提供c/c++源代码。这份清单提供了源代码的链接以及它们的小说明。我已尽力包括最佳的C/C++源代码的网站。这不是一个完整的清单，您有建议可以联系我，我将欢迎您的建议，以进一步加强这方面的清单。 1、http://snippets.dzone.com/tag/c/ –数以千计的有用的C语言源代码片段 2、http:
2017-08-01 20:36:54
360
转载 C++开源项目
转载 程序员要站在巨人的肩膀上，C++拥有丰富的开源库，这里包括：标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。标准库C++ Standard Library：是一系列类和函数的集合，使用核心语言编写，也是C++ISO自身标准的一部分。 Standard Template Library：标准模板库 C POSIX library ： POSIX系统的C标准库
2017-08-01 20:31:39
771
转载 C++开源项目
转载 值得学习的C语言开源项目-1. WebbenchWebbench是一个在Linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600行。 下载链接：http://home.tiscali.cz/~cz21
2017-08-01 20:28:43
555
转载 计算机经典书籍
转载 计算机经典书籍 各种计算机语言的经典书籍1、Java Java编程语言（第三版)—Java四大名著—-James Gosling(Java之父) Java编程思想（第2版)—-Java四大名著—-Bruce Eckel Java编程思想（第3版)—-Java四大名著—————-Bruce Eckel JAVA 2核心技术 卷I：基础知识（原书第7版）—Java四大名著—–
2017-07-31 23:42:13
531
原创 机器学习4
转载自 http://blog.csdn.NET/wemedia/details.html?id=41143作者丨Andrew C. Oliver翻译丨雨言编辑注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算
2017-07-25 19:41:29
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人