Loy Fan

第一章大数据计算模式及其代表产品批处理计算（针对大规模数据的批量处理）MapReduce、spark流计算（针对流数据的实时计算）S4、Storm、Streams、Dstream、Puma、SuperMario、银河流处理平台、Flume图计算（针对大规模图结构数据的处理）Giragh、PowerGragh、GraghX、Hama、GoldenOrb、Pregel查...

实验环境安装Linux：Ubuntu16.04Java：1.7.0_80Hadoop：2.7.1Python：2.7PyCharm：2019.1.2(Community Edition)matplotlib：2.0.0Spark：2.1.0下载数据集数据集为某音乐平台歌曲《同桌的你》评论者的信息数据，包含评论者的用户ID、动态总数、关注总数、粉丝总数、所在地区、个人介绍、年龄、...

大数据处理技术 Spark-期末复习要点 2019年春季学期大数据技术概述大数据计算模式及其代表产品Hadoop生态系统图，请分别阐述Hadoop生态系统的各个组成部分的主要功能MapReduce的基本原理YARN框架的目标和优点阐述Hadoop的缺陷以及Spark相对于Hadoop的优点Spark的设计与运行原理描述Spark生态系统的各个组件及其功能下图：组...

1. 语言类的定义1.1 正则语言定义：如果一个语言可以被一台有穷自动机识别，则称它是正则语言。有穷自动机是一个五元组(Q,Σ,δ,q0,F)(Q,Σ,δ,q_0,F)(Q,Σ,δ,q0​,F)，其中：QQQ是一个有穷集合，称为状态集。ΣΣΣ是一个有穷集合，称为字母集。δ:Q×Σ→Qδ:Q×Σ→Qδ:Q×Σ→Q是转移函数。q0∈Qq_0∈Qq0​∈Q是起始状态。F⊆QF⊆QF⊆...

群体智能算法与大多数基于梯度的优化算法不同，群体智能算法依靠的是概率搜索算法。与梯度算法及传统演化算法相比优点：没有集中控制约束，不会因为个体的故障影响整个问题的求解。以非直接信息交流的方式确保了系统的可扩展性。并行分布式算法模型，可充分利用多处理器。对问题定义的连续性无特殊要求。算法实现简单。蚁群优化算法ACO蚁群算法是对自然界蚂蚁的觅食寻径方式进行模拟而得出的一种仿...

模拟进化算法解全局优化问题的模拟进化算法本质上是一类建立在模拟生物进化过程基础上的随即搜索方法基本思想：将待优化问题的目标函数理解成某生物种群对环境的适应性。将优化变量对应于生物个体。将所发展的求解优化问题的算法与种群进化过程类比。考虑全局优化问题：(p):max[F(x):x∈Ω⊂Rn],F:Ω⊂Rn→R1(p) : max [ F(x) : x ∈ Ω ⊂ R^n ] ,...

贝叶斯网络1.不确定域中的知识表示2.贝叶斯网络语义3.条件分布的有效表达4.精确推理通过枚举进行推理变量消元算法精确推理的复杂度团算法5.近似推理直接采样马尔可夫链仿真推理1.不确定域中的知识表示贝叶斯网络定义贝叶斯网络用来捕捉不确定知识，是一种图模型，用于条件独立断言，对全联合分布有紧凑的描述形式。它是有向图，其中每个节点都标注了定量概率信息一个随机变量组成网络节点。变量可以是...

模拟退火算法（Simulated Annealing Algorithm，简称SA算法），源于对固体退火过程的模拟，采用Metropolis接受准则，并用一组称为冷却表的参数控制算法进程，使算法在多项式时间里给出一个近似最优解。流程从某个初始解出发，经过L0L_0L0​次解的变换（每次变换根据Metropolis算法求解），求得给定控制参数t=t0t = t_0t=t0​时问题的相对最优...

优化与搜索1. 盲目搜索1.1 深度优先搜索1.2 广度优先搜索1.3 迭代加深搜索2. 启发式搜索2.1 最佳优先搜索2.2 爬山搜索2.3 梯度搜索2.4 博弈搜索2.5 剪枝1. 盲目搜索1.1 深度优先搜索总是扩展深度大的结点，直到找到目标结点。流程：用N表示初始结点列表(N待扩展)如果N为空集，则退出并给出失败信号n取为N的第一个节点，并在N中删除结点n，放入已访问结...