大数据技术所涉及的的数学基础有哪些?

本文探讨了大数据技术所依赖的数学基础,包括概率论与数理统计在大数据建模和挖掘中的应用,线性代数在数据建模和分析中的重要性,最优化方法在模型训练中的角色,以及离散数学作为大数据技术不可或缺的基础。概率论中的Bayes理论、随机过程、信息论概念,线性代数中的矩阵分解,最优化方法如梯度下降,以及离散数学的基础性作用,都是大数据开发中不可忽视的知识点。
摘要由CSDN通过智能技术生成

由于工作关系,在我的周围存在这两类人,一是正在学校学习的大学生,二是在IT公司从事研发设计的工程师。他们在数学学习和应用方面出现了两个极端。在校大学生,特别是大一、大二的学生每学期都有一些诸如数学分析、线性代数、数论之类数学课程,尽管在课堂上可以听到莱布尼茨和牛顿的纠葛故事、笛卡尔的爱情故事,但是他们往往感到很迷茫,因为不知道所学的数学知识到底有什么用。对于IT公司的研发人员来说,他们在进入大数据相关岗位前,总是觉得要先学点数学,但是茫茫的数学世界,哪里才是大数据技术的尽头?

更多精彩内容 请点我

     一谈到大数据技术,很多人首先想到的是数学,大概是因为数字在数学体系中稳固的位置吧,这也是理所当然的。本文对大数据技术的数学基础这个问题进行一些探讨。

我们知道数学的三大分支,即代数、几何与分析,每个分支随着研究的发展延伸出来很多小分支。在这个数学体系中,与大数据技术有密切关系的数学基础主要有以下几类。特别需要说明的是,由于涉及到的数学知识方法较多,这些数学方法的具体应用可以参阅我的《互联网大数据处理技术与应用》一书中关于模型、算法、隐私保护等章节。这里只是做个总体概述,可以有个总体了解。

(1)概率论与数理统计

这部分与大数据技术开发的关系非常密切,条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差分析及回归分析、随机过程(特别是Markov)、参数估计、Bayes理论等在大数据建模、挖掘中就很重要。大数据具有天然的高维特征,在高维空间中进行数据模型的设计分析就需要一定的多维随机变量及其分布方面的基础。Bayes定理更是分类器构建的基础之一。除了这些这些基础知识外

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值