强化学习曾小健

高性能引擎支持：飞桨的 Paddle Inference 原生推理库作为当前 Paddle Serving 唯一支持的后端推理引擎，具备诸多高性能的特性，例如内存/显存复用、算子自动融合、TensorRT 子图以及 Paddle Lite 子图自动调用等功能。Paddle Serving 从客户端请求到服务端计算的整体流程如图 1 所示，整个底层通信都采用了高并发、低延时的 Baidu-RPC 服务，支撑深度学习模型在线部署的整个流程，使其性能进一步提高。...

hadoop首先当然是hadoop，不过hadoop不是一门技术，而是一个大数据框架。它的logo是一只黄色的小象，据说是这个项目的创建者用女儿的玩具命名的。经过了很多年的发展，现在hadoop框架已经非常成熟，衍生出了一个庞大的家族。有多庞大呢，我在google里给大家找了一张图，大家可以看看感受一下，这里面有多少是自己知道的，有多少没听说过。当然对于算法工程师来说，hadoop家族并不需要全部了解，只需要着重关注几个就可以了。hdfs首先是hdfs，hdfs是hadoop框架

客户端向 NameNode 请求创建文件，NameNode 根据元数据信息计算出文件的元数 据信息，比如分块大小，块存放的位置等等。NameNode 把这些信息回传给客户端，并 使用租约机制通过心跳包告诉 DataNode 客户端会来存储数据。客户端收到信息之后将 数据分块然后客户端通过管道 pipeline 向 DataNode 传输数据，当数据到达第一个节点之 后继续流向下一个节点，直到数据到达所有的备份节点。客户端为会 pipeline 所有流向 的数据节点保存一个确认队列(ack queue)，确保

2、Hadoop运行模式：单机版：无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。伪分布式模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。完全分布式模式：Hadoop守护进程运行在一个集群上。3、Hadoop生态圈的组件并做简要描述1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeep

3.2 分布式文件系统—HDFSHDFS 可以运行在许廉价的服务器上，可伸缩性强，也可以面向海量的客户提供数 据访问的分布式文件系统。另外 HDFS 的备份机制可以确保它的灾难冗余能力，它的设 计原则之一就是：一个集群中有服务器坏掉是一件正常的事情，只需要做好备份。元数 据和数据分离也可以提供高性能的服务。 HDFS 要解决的问题如下：1、存储超大数据文件，这里的文件指的是几百 GB 甚至几百 TB 大小的文件。2、流式数据访问，数据通常是一次写入、多次读取的高效访问模式。 3、运行在普通廉价的

请列出你所知道的hadoop调度器，并简要说明其工作方法？ --1.先进先出调度器（FIFO） --Hadoop 中默认的调度器，也是一种批处理调度器。它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业--2.容量调度器（Capacity Scheduler) --支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队...

4、YARN（1）yarn的介绍：　　MR和Spark作为YARN的应用运行在集群计算层和集群的存储层上的，Yarn整体上属于master/slave模型，主要依赖于三个组件来实现功能，分别是ResourceManager，ApplicationMaster，NodeManager。　　1）ResourceManager：管理集群上的资源，包括两部分调度器Scheduler，应用管理ApplicationManager。　　　a、Scheduler负责各个运行中的应用的资源分配，受到资源容量