数据科学与人工智能
关注
分享
扫一扫
文章平均质量分 90
数据科学与人工智能相关专栏。数据科学包含数据挖掘，数据的分析与处理，大数据等。人工智能主要以机器学习介绍为主，机器学习中，以深度学习作为主要内容。
陆嵩
中国科学院数学与系统科学研究院 计算数学与科学工程计算研究所 科学与工程计算国家重点实验室
State Key Laboratory of Scientific and Engineering Computing,
Institute of Computational Mathematics and Scientific/Engineering Computing,
Academy of Mathematics and Systems Science,
Chinese Academy of Sciences
Email: lusong@lsec.cc.ac.cn
展开
-
Python 爬虫小练习：基于 XPath 的表格信息爬取
目标是从某个网站中爬取表格数据。我选择的网站是： （下不妨称为名单页）。思路是我们通过名单页上的 XPath 选择和翻页，获得所有对应着每个人的详情页链接。之后遍历详情页链接，爬取信息，存为 csv 文件。按 F12 可以打开浏览器的开发者工具，选中 Network 页。刷新名单页，可以看到信息流，包括 Request URL 和 Request Headers 等等。因为是密码登录的，我们在发送请求时需要 Cookie 作为头信息。点开第二页名单页，我们发现翻页只需要修改 url 链接 page= 后面的原创 2022-12-06 02:23:01 · 3907 阅读 · 0 评论 -
核酸检测多少人为一组混检合适？
但是对于被检测者来说，不管是混检还是单检，做一次核酸真的就是要付出做一次核酸的成本，排一次队，刮一次鼻子，遭一次罪。有人说，可以再采用的时候，把每个人的样本分两份，当检测出患病的时候，再把备份拿出来单独测，这样就不需要喊人来车第二次了。考虑到患病率极低，这种分两份的人工成本是极高的，已经远远超过了把一起混检的人喊来再测一次的成本，更远远超过了不采用最优参数。其实很简单，2个管子，6 个人，每个管子 3 个人，2 个患病的人进入同一个管子的概率不是 1/2，而是。是一件非常麻烦的事情，不是初等数学可以做的。原创 2022-10-14 10:13:32 · 15598 阅读 · 22 评论 -
毕业论文致谢到底要怎么写？
这里的标题只是个问句，以下的文字并不会给出答案，毕竟，毕业论文的致谢是最难写的一部分。依我看来，毕业论文致谢，大抵分为两种，一种是中规中矩型，列一堆人名，感谢一番，不知道的人还以为是红花会的花名册。另一种是标新立异型，文言文、诗词歌赋、“卖惨”一路的辛酸、撒狗粮、段子+自嘲，各种花样，层出不穷，不一而足。为了做好这个事情，无聊的我下载了 2010 年到 2022 年计数学所所有博士毕业论文共 205 篇进行了阅读。我们所的师兄师姐的致谢都是比较中规中矩的，没有什么特别吸人眼球和 “哗众取宠” 的地方，可能难原创 2022-09-19 12:56:38 · 1828 阅读 · 0 评论 -
Copilot 初体验
GitHub Copilot (https://copilot.github.com/) 是 GitHub 和 OpenAI 合作开发的一个人工智能工具，用户在使用 Visual Studio Code、Microsoft Visual Studio、Vim 或 JetBrains 集成开发环境时可以通过 GitHub Copilot 自动补全代码。Hmm，看起来有 60 天的免费试用，但是 60 天后如果忘记取消了，它就会给你自动续费。如果，你的学生认证是有效的，则进入如下界面，否则，你将进入收费界面。原创 2022-09-03 07:42:25 · 9211 阅读 · 5 评论 -
欠定方程组的最小范数解
当然，这些条件都有一些奇奇怪怪的名字，比如“互补性条件”之类的，可以不用管。当然，如果只有等式约束，那么其实只有前两条，很简单，也很好记。对于这个问题，我们知道这里未知量的个数比方程的个数多，也就是解是存在不唯一的。了，如果是低于三维的情况，高中的知识很快就能解出来了。除了上述的分裂法推导外，我们也可以用拉格朗日乘子法得到这个最小范数解。容易证明，它也是满足最小二乘误差相同的最小范数解。几何的提法是，超平面。是可逆的，我们有更加漂亮的写法，从第一块我们可以得到。就是最小范数解，它极小化了如下的优化问题，..原创 2022-08-26 14:14:48 · 4358 阅读 · 7 评论 -
模型降阶方法之张量方法应用举例
TABLE5.3-5.5不同的参数离散、不同的reducedbasis维数、不同的投影方式下，不同方法的相对增益，相对增益指的是相对于POD而言的相对误差，FIG5.3说的是样本外预测的投影误差随着reducedbasis的个数、参数的采样间隔、张量分解精度的变化而变化的情况。同样地，用某种格式，比如CN格式得到snapshots，之后用张量方法得到reducedbasis，再对原方程进行降阶，得到了，用标准的有限元方法，在空间上做离散，就得到这样一个时间连续的方程，...原创 2022-07-29 06:04:32 · 894 阅读 · 0 评论 -
模型降阶方法之张量方法
POD 方法的介绍如下所示：https://blog.csdn.net/lusongno1/article/details/125944587经典的 POD 方法无法处理非线性项，所以发展了很多的方法，比如 DEIM：https://blog.csdn.net/lusongno1/article/details/125955245如果我们要考虑的方程里面有一组参数，不同的参数都能获得一个 Matrix，那么我们应该如何把多组参数下的得到的数据放在一块作为先验，来给新到来的一组参数做模型降阶呢？这就是这篇原创 2022-07-27 13:49:49 · 1147 阅读 · 0 评论 -
【深度学习入门基础】二、简单理解 Transformer
ResNet 和 Transformer 近五年来是影响最深远的两个网络结构，没有之一，bert 也是从 Transformer 发展而来。近年来，Transformer 更是从 NLP 领域走入了 CV 领域，似乎什么东西都可以 attention 一下，大有一统天下之势。因为 Transformer 很火，所以网上的各式各样的讲解很多，我就不介绍（chao xi）了，意义不大。本文依然秉承先导篇的代数风格，我们对 Transformer 做一个简单的总结。为了方便入门，我将尽可能少地去引入一些新名词。T原创 2022-07-09 22:08:08 · 1125 阅读 · 1 评论 -
共轭梯度法（CG）详解
共轭梯度法（CG）详解文章目录共轭梯度法（CG）详解线性共轭梯度法共轭方向共轭方向法CG 方法预条件非线性共轭梯度法FR 方法其他非线性 CGPR+ 方法重启动之前写过几个关于共轭梯度法的注记，譬如：https://blog.csdn.net/lusongno1/article/details/78550803https://blog.csdn.net/lusongno1/article/details/68942821但事实上很多人反应，看得一头雾水，基于此，本篇文章旨在对于共轭梯度方法从优原创 2022-05-26 17:12:54 · 9186 阅读 · 2 评论 -
【深度学习入门基础】一、从线性代数和微积分的角度看神经网络
【深度学习入门基础】从深度学习和微积分的角度看神经网络这是深度学习入门系列文章，我们企图用最简洁的语言、最干净的表达，让读者快速获取到他所想要的。本系列文章持续更新。一些网上能查到的基础知识，诸如激活函数有哪些等，不再介绍。导言大多数介绍深度学习的资料，一开始就从生物神经元、轴突、树突、刺激等等讲起，本来很简单的东西，却被介绍得云里雾里。本文将从矩阵乘法和导数的角度入手，让你一下子 get 到什么是神经网络。矩阵乘法看神经网络问题是这样一个问题：假设有一个列向量 x\mathbf{x}x，希望原创 2022-02-26 21:57:33 · 1102 阅读 · 0 评论 -
机器学习基础知识点
机器学习基础知识点文章目录机器学习基础知识点监督学习回归线性回归岭回归lasso回归分类k最近邻分类朴素贝叶斯分类logistic回归支持向量机其他随机梯度下降线性判别分析决策树无监督学习聚类k均值分层次聚类谱聚类高斯混合模型降维PCA降维LLE降维MDS和t-SNE独立成分分析等距特征映射谱嵌入深度学习（一些基本概念）一维卷积（离散）二维卷积（离散）padding反卷积（转置卷积）学习率反向传播正则化softmaxdropout历史随机梯度下降（mini-batch）万有逼近定理几种激活函数白化动量方法原创 2021-10-24 14:41:14 · 5062 阅读 · 0 评论 -
匹配算法告诉你为什么要找女（男）朋友一定要主动？
稳定匹配：该如何给男孩女孩们配对？文章目录稳定匹配：该如何给男孩女孩们配对？定义算法：延迟接受（盖尔沙普利算法）越主动配偶越好代码实现对于恋爱的启示纯文字描述稳定匹配（stable matching）。定义有这样一个问题，大概意思说是给一群男的和一群女的配对，每个男的对所有女的喜欢程度都有一个排序，所有女的对所有男的喜欢程度也有一个排序，男女人数相等。我们给一个不稳定对（blocking pair）的定义。假设小明的女朋友更喜欢小东，比起小东自己的女朋友，小东更喜欢小明的女朋友，这时候，（小明原创 2021-09-27 19:04:57 · 1310 阅读 · 3 评论 -
Pinsker 不等式的简单证明
Pinsker 不等式的简单证明网上有很多很多关于 Pinsker 不等式的证明方法，但是我没有看到一个用数学归纳法证明的，也没有看到一个不加先验定义的自包含的证明。下面我给出一个关于一个极简的证明。任何的引用请注明本出处。Pinsker 不等式请证明如下不等式：∑i=1nailnaibi≥∑i=1n(ai−bi)2\sum_{i=1}^{n}a_i \ln \frac{a_i}{b_i}\geq \sum_{i=1}^{n}(a_i-b_i)^2i=1∑nailnbiai≥i=1原创 2021-08-01 22:26:10 · 1526 阅读 · 2 评论 -
学数学有个球用？
学数学有个球用？我们学数学的，不能有丝毫的骄傲，却要有无比的自信。仅以此文致敬中国科学院数学与系统科学研究院的 2021 届毕业生们。文章目录学数学有个球用？如何调好收音机AFBT 算法收敛性分析梯度下降方法（GD）Gradient Descent步长选取收敛率学好了数学，你能找一份工作，找到了一份不错的工作，你就有钱了，你有钱了，就可以买各种各样的球，足球篮球羽毛球，网球棒球羽毛球，手球水球曲棍球，桌球排球扔链球。结论是，学数学当然有球用，想要什么球都有，想要多少有多少。学数学不仅有球用，还有原创 2021-07-03 20:48:51 · 806 阅读 · 2 评论 -
Pandas 函数方法汇总一览查询（持续补充改进）
Pandas 函数方法汇总一览查询（持续补充改进）文章目录Pandas 函数方法汇总一览查询（持续补充改进）初衷Pandas 最最常用函数罗列Pandas 函数用法示例初衷NumPy、Pandas、Matplotlib、SciPy 等可以说是最最最常用的 Python 库了。我们在使用 Python 库的时候，通常会遇到两种情况。以 Pandas 举例。我想对 Pandas 数据结构的数据实现某种操作，但是我不知道或者说在我的印象里似乎已经不记得是否有这样的函数方法，如果有，又该用哪个方法呢？我原创 2021-06-06 10:43:04 · 1484 阅读 · 10 评论 -
线性方程组的求解方法的选择和加速
线性方程组的求解方法的选择和加速文章目录线性方程组的求解方法的选择和加速迭代法概述矩阵分裂方法Krylov 子空间方法线性方程组迭代方法的选择共轭梯度类残差类更牛逼的加速手段：多重网格和并行（并发）计算其他加速方法迭代法概述求解线性方程组一般有直接解法（分解）、迭代解法和启发式方法。如果系数矩阵 A 很大并且是稀疏矩阵，分解方法一般情况下将不会有效。大部分情况下，小规模计算喜欢用直接解法，不存在时间问题了，就不需要加速。大规模问题的计算，我们青睐于用迭代解法，也有的求解器做出了适用于大规模问题的直接分原创 2021-05-29 21:29:16 · 6103 阅读 · 8 评论 -
备份微信聊天记录为 txt 格式保存（免 root）
备份微信聊天记录为 txt 格式保存（免 root）文章目录备份微信聊天记录为 txt 格式保存（免 root）备份记录到 PC恢复备份的记录到虚拟机微信备份虚拟机微信数据拷贝虚拟机微信记录到 PC解析聊天记录词云分析微信备份聊天记录为 txt 格式，需要已经root的手机，或者没有root的一些特定型号的手机，iphone 就可以。下面我介绍一个对所有手机都通用的方法。微信自带的备份与恢复功能，只能把聊天记录备份为 db 格式，这是加密文件，无法解析，只能通过微信的恢复功能，恢复到同一个微信里面原创 2021-05-21 16:53:19 · 7553 阅读 · 0 评论 -
【小波分析】五、MATLAB 小波工具箱的使用
【小波分析】五、MATLAB 小波工具箱的使用简单介绍Wavelet Toolbox™ 提供用于分析和处理信号与图像。小波工具箱包含连续小波分析，小波时间序列相关分析，去噪、压缩和时频分析算法。该工具箱还包括用于对信号和图像进行抽样和非抽样的离散小波分析，包括小波包和双树复小波变换等等。在 MATLAB 的 APP 界面下，我们能够搜索到 Wavelet Analyzer 和 Wavelet Signal Denoiser 两个模块。它是属于小波工具箱下面的两个应用。命令行输入 waveletAn原创 2021-05-20 16:20:40 · 34747 阅读 · 16 评论 -
【小波分析】四、正交多分辨分析
【小波分析】四、正交多分辨分析文章目录【小波分析】四、正交多分辨分析内容回顾形而上的理解多分辨分析与正交小波尺度方程和小波方程尺度方程小波方程标准正交系的频域表示低通滤波器和带通滤波器性质正交小波的构造正交小波的充要条件正交小波的构造特例：Haar 多分辨分析内容回顾形而上的理解上一次我们引入了多分辨分析，及其与正交小波的一个关系。多分辨分析 VjV_jVj 有这样一些特征。VjV_jVj 包含于 Vj+1V_{j+1}Vj+1 里面的，它可以通过在时间上压缩一倍直接得到。而每个 VjV_j原创 2021-05-20 16:17:03 · 1312 阅读 · 0 评论 -
手把手教你利用 python 爬虫分析基金、股票
手把手教你利用 python 爬虫分析基金、股票文章目录手把手教你利用 python 爬虫分析基金、股票第一步：基金数据爬取第二步：股票增持计算第三步：好股基金选取从前大家朋友圈都在晒美食，晒旅游，晒玩乐，现在翻来朋友圈一看，竟然有很多人在晒炒股。这是一个好现象，说明人民日益增长的美好生活需要，已经从温饱休息，变成了投资和理财。股票和基金等似乎依然还是大众眼中新鲜和高级的事物，买过股票，涨涨跌跌，也值得网上凡尔赛一番。在通货膨胀的时代，钱放着就是在贬值。如果你有余钱且有些许碎片化时间的话，投资和理财原创 2021-02-16 23:41:35 · 14833 阅读 · 105 评论 -
基于 python 的股票和基金选取 程序设计
基于 4433 和高被选原则的基金选取（python 实现）文章目录基于 4433 和高被选原则的基金选取（python 实现）前言程序实现导入所需要的包获取基金数据基金原数据预处理整理或者基金数据表使用4433原则挑选基金获得各个基金的前几持仓数据和股票集合统计最受欢迎的n大股票计算出持仓最吻合最受欢迎股票的基金UI 人机界面制作使用 pyinstaller 封装为 exe前言从前大家朋友圈都在晒美食，晒旅游，晒玩乐，现在翻来朋友圈一看，竟然有很多人在晒炒股。这是一个好现象，说明人民日益增长的美好生原创 2021-02-16 22:35:01 · 2152 阅读 · 31 评论 -
[MATLAB 在科学计算中的应用] 使用MATLAB 进行非线性拟合
[MATLAB 在科学计算中的应用] 使用MATLAB 进行非线性拟合文章目录[MATLAB 在科学计算中的应用] 使用MATLAB 进行非线性拟合前言引述MATLAB 曲线拟合函数简述一二维数据非线性拟合一维数据拟合例子二维数据拟合例子高维数据非线性拟合lsqcurvefitnlinfit 函数数据拟合工具箱的使用写在后面的话前言引述所谓曲线拟合，就是给定数据和数据可能满足的带参函数表达，希望能找到一组最好的参数，是的这个函数能够“最大限度”地刻画给定的数据。在一维（自变量维数）的情况下，换句话说，原创 2020-12-22 01:07:39 · 6349 阅读 · 0 评论 -
数据科学和机器学习中的优化理论与算法（下）
数据科学和机器学习中的优化理论与算法（下）数据科学和机器学习当前越来越热，其中涉及的优化知识颇多。很多人在做机器学习或者数据科学时，对其中和优化相关的数学基础，包括随机梯度下降、ADMM、KKT 条件，拉格朗日乘数法、对偶问题等，不太了解，一知半解地用，用着用着就出错了。本文希望从基础知识的角度，尽可能全地对最简单的优化理论和算法做一个小结。内容涵盖以下几个方面：优化简介、无约束优化、线搜索方法、信赖域方法、共轭梯度方法、拟牛顿方法、最小二乘问题、非线性方程、约束优化理论、非线性约束优化算法、二次规原创 2020-12-21 15:37:53 · 1176 阅读 · 0 评论 -
数据科学和机器学习中的优化理论与算法（上）
数据科学和机器学习中的优化理论与算法（上）数据科学和机器学习当前越来越热，其中涉及的优化知识颇多。很多人在做机器学习或者数据科学时，对其中和优化相关的数学基础，包括随机梯度下降、ADMM、KKT 条件，拉格朗日乘数法、对偶问题等，不太了解，一知半解地用，用着用着就出错了。本文希望从基础知识的角度，尽可能全地对最简单的优化理论和算法做一个小结。内容涵盖以下几个方面：优化简介、无约束优化、线搜索方法、信赖域方法、共轭梯度方法、拟牛顿方法、最小二乘问题、非线性方程、约束优化理论、非线性约束优化算法、二次规划原创 2020-12-21 15:28:46 · 1532 阅读 · 2 评论 -
分布式优化和去中心化优化概述
分布式优化和去中心化优化概述陆嵩中科院 数学与系统科学研究院 科学与工程计算国家重点实验室文章目录分布式优化和去中心化优化概述简介预备知识优化基础理论梯度下降方法（GD）Gradient Descent步长选取收敛率约束优化问题的拉格朗日乘数法次梯度算法图谱理论基础平均一致性问题模型问题梯度算法收敛性结果对于去中心化的梯度下降方法凸问题的 DGD 算法一些结论和讨论凸问题的较新方法ADMM（原始-对偶）对偶上升对偶分解增广拉格朗日方法ADMM 及其收敛性分布式 ADMM 算法EXTRA和其他方法非原创 2020-07-31 18:43:58 · 5169 阅读 · 7 评论 -
交替方向乘子法（ADMM）的数学基础
交替方向乘子法（ADMM）网上的一些资料根本就没有把ADMM的来龙去脉说清楚，发现只是一个地方简单写了一下流程，别的地方就各种抄，共轭函数，对偶梯度上升什么的，都没讲清楚，给跪了。下面我来讲讲在机器学习中用得很多的ADMM方法到底是何方神圣。共轭函数给定函数f:Rn→Rf: \mathbb{R}^{n} \rightarrow \mathbb{R}f:Rn→R，那么函数f∗(y)=max...原创 2019-12-31 19:23:18 · 4661 阅读 · 6 评论 -
方程组求解的直接法与迭代法实现
方程组求解的直接法与迭代法实现问题描述我们的目的在于求解如下所示的方程组：其中的A11、A12、A21、A22A_{11}、A_{12}、A_{21}、A_{22}A11、A12、A21、A22以及右端项fff以不同的的稀疏存储方式存在文件中。我们需要完成的问题包括：理解并描述A11、A12、A21、A22A_{11}、A_{12}、A_{21}、A_{22}A11、A12...原创 2018-12-14 20:25:01 · 6161 阅读 · 9 评论 -
约束优化问题的罚函数求解方法
约束优化问题的罚函数求解方法（外罚） 惩罚函数法是求解有约束的最优化问题的一种算法。 惩罚函数法的要旨是将一个有约束的最优化问题转化为一系列的无约束问题；这些无约束问题由原问题及罚函数，再加上惩罚因子组成；而且，这些无约束问题的解会收敛于所求问题的解。算法和步骤 程序和示例写一个程序用罚函数方法求解： 计算前两部迭代的结果，也就是x1x1x_1和x2x2...原创 2018-06-03 20:01:25 · 22974 阅读 · 18 评论 -
强化学习（强化主干知识，看这篇就够了）
强化学习强化学习到底是什么？若是想略微了解强化学习大概的意思和操作，把握一个主干知识，而不做深入研究，看这篇文章就很够了。文章目录强化学习核心内容元素简介优化目标：状态值函数状态-动作值函数策略迭代和值迭代策略迭代值迭代Q学习、SARSA、时序差分学习Q学习SARSA和时序差分学习深度强化学习一些学习资料核心内容元素简介强化学习考察的是对于一个对象（智能体），从一个状态执行某种动作到...原创 2019-07-23 11:56:22 · 1082 阅读 · 0 评论 -
函数型数据主成分分析
函数型数据主成分分析基本思想函数型主成分分析（FPCA，Functional Principal Components Analysis）是传统的PCA的一种推广。考虑我们已经从数据中得到拟合曲线xi(s),s∈T,i=1,⋯ ,nx_{i}(s), s \in \mathcal{T}, i=1, \cdots, nxi(s),s∈T,i=1,⋯,n，所谓的第一...原创 2019-04-15 08:59:29 · 11161 阅读 · 25 评论 -
机器学习入门实战——使用回归技术预测房价
使用回归技术预测房价问题描述与数据观察我从kaggle上找了一个问题，链接为房价预测。大概的意思就是，根据房子的一系列信息，包括面积，地段，环境等等，我来预测它的房价。它告诉了我一部分已知特征和房价的房子作为训练集，给出另外一部分只知特征的房子，让我预测出它们的房价。下载的数据有三个csv文件，一个是训练数据，一个是测试数据，另外一个数据提交的样例。 训练数据为1460x80的一个表...原创 2018-07-03 16:34:48 · 6207 阅读 · 1 评论 -
Anaconda3下Graphlab Create的安装
Graphlab Create的安装要求Anaconda2 v4.0.0版本的，安装好了Anaconda3又不想卸载，如何让新安装的Anaconda2 与Anaconda3兼容而不出错呢？下面跟着我来一步一步地安装Graphlab Create的安装吧。下载安装Anaconda2 v4.0.0下载地址 一定要下载Anaconda2 v4.0.0版本的，否则容易出问题。 下载...原创 2018-07-09 21:05:26 · 881 阅读 · 0 评论 -
机器学习算法概括
前言随着时代的发展，机器学习被用到了工业、学习和生活等各个方面，它在在模式识别、自然语言处理、数据挖掘、计算机视觉等方面发挥着不可替代的作用。机器学习主要分为监督学习、无监督学习以及最近兴起的强化学习。监督学习为带标签的学习，是最常见的一部分，它以回归和分类为主。无监督学习为不带标签的学习，主要分为聚类和降维。强化学习是带奖励机制的一种学习。我们主要来介绍回归分类和聚类降维中最为核心的算法...原创 2018-07-08 19:13:02 · 1247 阅读 · 0 评论 -
Linux 环境变量的修改与 C/C++ 头文件搜索路径和库目录的包含方法
Linux下修改环境变量的几种方式通过profile和bashrc文件修改所有用户生效的修改方式修改etc/profile文件： 为每个用户设置环境信息。当用户登录时，该文件被执行一次。 文件中添加：PATH="$PATH:新的路径"，$PATH表示原有路径，路径间用冒号隔开，故有此写法。修改/etc/bashrc文件： 当 bash shell 被打开时，该文件被读取。 ...原创 2018-06-25 15:04:35 · 2493 阅读 · 0 评论 -
PCA算法的数学推导及其简单算例
PCA算法的数学推导及其简单算例PCA算法操作简述假设XXX是一个m*n矩阵，表示n个对象的m个特征表示数据，即每一列表示一个对象，每一行表示一个特征。我们希望将特征降为d维，d远小于m。输出结果为YYY，一个d*n的矩阵。 - 记X=[x1,x2...xn]X=[x1,x2...xn]X=[x_1,x_2...x_n]，计算每个对象点的平均值x0=1n∑i=1nxix0=1n∑i=...原创 2018-05-30 23:33:57 · 4068 阅读 · 0 评论 -
求极小值的线搜索方法应用（SD，Newton）
求极小值的线搜索方法应用（SD，Newton） 最优化问题中，线搜索 是一种寻找目标函数f:Rn→Rf:Rn→R {\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} } 的局部最小值 x∗x∗{\displaystyle \mathbf {x} ^{*}} 的近似方法。它是最基础的迭代近似方法之一，另一种是信赖域方法。 线搜索近似首先找到...原创 2018-06-05 00:25:54 · 4251 阅读 · 9 评论 -
求解非约束优化问题的拟牛顿方法（BFGS、DFP）
求解非约束优化问题的拟牛顿方法（BFGS、DFP） 拟牛顿法是一种以牛顿法为基础设计的，求解非线性方程组或连续的最优化问题函数的零点或极大、极小值的算法。当牛顿法中所要求计算的雅可比矩阵或Hessian矩阵难以甚至无法计算时，拟牛顿法便可派上用场。数学原理考虑模型问题最小化之，可得拟牛顿步长：那么，新的迭代为：问题是，这里的αkαk\alpha_k 和...原创 2018-06-03 19:10:57 · 3104 阅读 · 6 评论 -
信赖域狗腿（dogleg）方法
信赖域狗腿方法 信赖域方法（Trust-region methods）又称为TR方法，它是一种最优化方法，能够保证最优化方法总体收敛。现今，信赖域算法广泛应用于应用数学、物理、化学、工程学、计算机科学、生物学与医学等学科。相信在不远将来，信赖域方法会在更广泛多样的领域有着更深远的的发展。本文简单介绍信赖域狗腿（dogleg）方法，希望能为其他专业诸如机器学习的同学在使用优化工具时提供一个参...原创 2018-06-03 18:14:53 · 22690 阅读 · 8 评论 -
浅谈大数据和深度学习和计算数学的一点关系
浅谈大数据和深度学习和计算数学的一点关系专业介绍计算数学是数学的一个分支，研究的内容包括设计和分析算法以及数学建模等，目的是为了在实际工程中利用快速稳定的算法得到精确值的近似值。在计算机科学高度发展的今天，其基础计算理论的发展使计算数学进入现代化阶段。（维基百科 ）计算数学，我个人的理解是，不管是生活中，还是工程上，只要是涉及到计算，都可以划到计算数学的研究范围内，自然包括人工智能...原创 2018-05-05 19:45:34 · 18019 阅读 · 6 评论 -
Linux（ubuntu-16.04.2）上hadoop的安装与配置
Linux（ubuntu-16.04.2）上hadoop（hadoop-2.7.1）的安装与配置 关于hadoop的安装，网上有七七八八的教程，十个教程九个坑，还有一个特别坑。这使得很多新手在安装hadoop时，按照网上所谓的教程，一步一步，走到了某一步出错了，又搜不到解救之法，不得不放弃。安装过程蹦出的各种问题，让小白们吃吃了不少苦头。下面给出一个Hadoop安装教程（单机/伪分布式配置...原创 2018-04-18 23:27:12 · 5595 阅读 · 2 评论