生活需要深度

至此，Transformers 大部分零件已经凑齐， Let's Roll Out.Transformers 也是为了机器翻译设计的，回顾一下 Transformers 之前的机器翻译模型，大多还是 RNN Encoder-Decoder 的范式，但是这样也就继承了 RNN 的所有问题。通过堆叠 RNN，扩大参数量确实也取得了一定的效果，比如 Seq2Seq。但是 Bahdanau Attention 出现后，让研究人员看到了另外一种可能。

Llama 3模型基于标准的Transformer架构进行了多项改进，包括更高的效率和更好的性能。上下文长度： 8192（LLaMA-1和LLaMA-2的上下文长度分别为2048, 4096）本部分整理文档里面这部分内容外加两个内容需要整理一个具体内部实现。嵌入层： 将输入的token转换为固定维度的嵌入表示。前馈网络（FFN）： 包含激活函数和两层全连接网络。接下来，我们详细探讨Llama 3架构的主要特点。模型类型： 基于解码器的Transformer。自注意力层： 包含多头自注意力机制和归一化。

2. 续写: 模型开始根据你给的开头, 一个接一个地生成新的词, 每生成一个新词, 它都会把前面已经生成。1. 预填充: 你给模型一个开头, 可以是几个词或一个句子,这就是"预填充"的内容。这个过程就叫"续写"。输入:"从前有座山, 山里有座庙，庙里" >>> 输出:"有"输入:"从前有座山, 山里有座庙，庙" >>> 输出:"里"输入:"从前有座山, 山里有座庙" >>> 输出:"，"输入:"从前有座山, 山里有座庙，" >>> 输出:"庙"输入:"从前有座山, 山里有座" >>> 输出:"庙"

由于GPU的复杂性和安全隔离的要求，GPU直通技术相对于任何其他设备来说，会有额外的PCI 配置空间模拟和MMIO的拦截（参见QEMU VFIO quirk机制）。物理GPU虚拟化为多个虚拟机GPU，每个虚拟GPU直接分配给虚拟机使用，通过软件调度的方式在主机（Host）与计算机的来宾账户（Guest）之间提供一个中间设备来允许Guest虚拟机访问Host中的物理GPU。厂家（Nvidia ，AMD ，Intel等 ）的GPU，只要支持IOMMU的理论上都可以，即直通模式的实现依赖于IOMMU的功能。

大数据时代的一个显著特点就是云端与边缘端的协同计算。通过边缘端与云端的协同计算，能够对众多的用户数据进行归纳以及推理，从而挖掘出更多的有用信息，而这些信息可以帮助决策者进行决策，减少风险。这些都离不开云计算与边缘计算。正如前面所述，云计算是一种基于云的计算方式，这里的云指的是通过网络连接的软硬件资源。依赖互联网，可以将各种共享的软硬件资源分配给多个计算机以及其他终端使用，这使得终端设备可以将耗费计算资源多的应用程序、计算过程放到云上进行，大大增加了终端设备的运行效率。

它的思路是在某个生成的timestep，把自回归生成这个耗时的过程交给小模型(或者大模型的底下几层，我们统称为小模型)，小模型采样生成几个候选序列，再把它们拼在一起输给大模型，让大模型选择language modeling概率最高的那个候选序列。它涉及利用预训练的大型模型来构建小数据集上的模型。用大模型去训练数据,然后用小模型去拟合大模型的输出,小模型可以学习大模型的知识（古已有之的线路是，以大模型为teacher对小模型进行知识蒸馏(KD)，以期用更小的模型学会大模型涌现出的能力，提高推理效率）

背景数据科学和机器学习正逐渐成为解决复杂现实问题以及在所有领域创造价值的核心功能。

可行性分析：是否有足够的开发成本、(社会上、法律上、文化上)是否允许、技术上是否能实现需求分析：与客户沟通需求，需求工程包括需求获取、需求分析、需求管理概要分析：将系统划分为多个子系统或模块，将相应的功能分配到这些模块当中详细设计：对子系统或模块进行设计的过程，包括一些内部的路径、具体的数据结构的内容编码：实现、开发阶段测试：对软件功能进行验证的过程，验证功能能否正确被使用。

MDA作为一种模型驱动的软件开发方法论，通过将模型作为开发的中心，实现了从抽象到具体的转换和自动生成代码的过程。通过MDA，制造商可以从CIM开始，定义生产流程和资源需求，然后转换到PIM来设计系统的逻辑结构，最后生成PSM以集成到现有的工业自动化平台中。平台独立模型（Platform Independent Model，PIM）：这是根据CIM创建的更加具体的模型，描述了系统的结构和行为，但仍然与特定的技术和平台无关。提高系统质量：MDA的模型是抽象的、可验证的，可以在早期发现和解决潜在的问题。

sdfsdfsSSD。

架构

它描述了在特定上下文中，如何组织和设计软件系统的结构和组件之间的关系。架构模式提供了一套可重用的设计原则和指导，用于解决常见的架构问题。常见的软件架构模式有MVC模式、MVP模式、MVVM模式、黑板模式等。软件架构模式关注的是系统的结构和组件之间的关系，以及如何解决特定的设计问题。常见的设计模式包括单例模式、工厂模式、观察者模式、策略模式等。设计模式关注的是类和对象之间的关系和交互方式，以及如何实现灵活、可维护和可扩展的代码。软件架构风格，软件架构模式，23种设计模式，他们之间的不同的含义。

项目管理的理论和实际经验，有助于我和项目管理人员协同工作，共同解决项目中的技术问题、管理问题、资源协调问题，产品的成功和识别，复杂问题的解决，大多数是技术问题，同时也是项目管理问题，良好的项目管理，能够有助于复杂问题解决中所需要的各种资源的协调和有条不紊的按计划实施，特别是解决复杂系统的复杂问题时，只靠技术，容易导致技术人员各自为政，无法协同作战；有时候，我也在反思，我是如何做到的呢?早年，个人带过团队和部门，但后来，个人的职业目标是技术专家，因此，相对于技术和项目管理，这块的经验的最欠缺，是短板。

综上所述，目标软件的复杂性体现在多个方面，包括功能需求的复杂性、系统架构的复杂性、子系统和组件的协作复杂性、非功能性需求的满足等。其次，目标软件还可能涉及到分布式的系统架构和多个子系统的协作。例如，一个大型的电子商务网站可能包括用户管理、订单管理、支付系统、库存管理等多个子系统，这些子系统需要相互协调和交互，以实现整体的功能。这包括执行各种测试，如单元测试、集成测试、系统测试和验收测试，并记录发现的问题，进行问题追踪和修复。这需要一个良好的组织结构和有效的资源分配，以确保软件开发的顺利进行和结果的实现。

‌瀑布模型与结构化开发方法‌：瀑布模型强调线性顺序，而结构化开发方法注重结构化和模块化设计，两者在项目管理和设计上有相似之处，都适合需求相对稳定的项目。‌原型化模型与原型化开发方法‌：原型化模型通过快速构建原型来验证需求，而原型化开发方法通过原型来探索和确认需求，两者都强调通过原型来指导后续的开发工作。‌面向服务的方法与增量模型‌：面向服务的方法将系统构建为服务组件的集合，而增量模型逐步构建和交付系统，两者都适合需要高度可扩展和可维护的系统。‌增量模型‌：将系统分解为多个增量，逐步构建和交付‌1。

就是这里的ring_type。entity是job的容器，drm_sched_main 调度线程在选择可以运行的entity的时候，涉及到一个调度策略问题，在6.X内核之前，从sched_rq中选择可以运行JOB的entity使用的是优先级+roundrobin调度策略，首先安按照sched_rq 3/2/1/0 的优先级顺序选择一个最高优先级的sched running queue,之后，在当前选择的sched_rq里面根据round robin选择一个可以运行的entity投入运行。

在上图中，渲染命令在下发到内核之后会被封装成一个job，然后找到其所属的渲染上下文，更具体地，找到该job所属的GPU IP的Ring Buffer，获取该job应该加入的调度实体，然后加入调度实体上的调度队列。分析drm_sched_entity_init，它的核心操作就是设置entity的运行队列，将其指向对应ring buffer调度器上维护的队列中，注意，这里我们看到的是将entity上的运行队列指向了IP核上的第一个ring buffer的调度器，后面会根据调度器上的任务数，选择合适的运行队列。

工欲善其事必先利其器，要想分析清楚linux服务器中的各类问题，比如性能问题，服务程序的bug，那么必须对该系统下的分析工具有一定的了解，本文对当前的主流cpu，内存，网络，io以及各种debug分析工具(blktrace，perf，systemtap)做了个简单总结。注:学无止境，故需持续更新。

本文是 Systrace 系列文章的第一篇，主要是对 Systrace 进行简单介绍，介绍其简单使用方法；如何去看 Systrace；如何结合其他工具对 Systrace 中的现象进行分析。本系列的目的是通过 Systrace 这个工具，从另外一个角度来看待 Android 系统整体的运行，同时也从另外一个角度来对 Framework 进行学习。也许你看了很多讲 Framework 的文章，但是总是记不住代码，或者不清楚其运行的流程，也许从 Systrace 这个图形化的角度，你可以理解的更深入一些。

Perfetto 是一个高级的开源工具，专为性能监测和分析而设计。它配备了一整套服务和库，能够捕获和记录系统层面以及应用程序层面的活动数据。此外，Perfetto 还提供了内存分析工具，既适用于本地应用也适用于 Java 环境。它的一个强大功能是，可以通过 SQL 查询库来分析跟踪数据，让你能够深入理解性能数据背后的细节。为了更好地处理和理解大规模数据集，Perfetto 还提供了一个基于 Web 的用户界面，使你能够直观地可视化和探索多 GB 大小的跟踪文件。