只为分享

对于Tesla的估值，最大的一个风险其实还是Elon 的跳票，直到今天为止，10.10 号这个日期还有被鸽的风险。预期落地后，考虑到Robotaxi 作为Tesla 第一落地的场景，指望它马上上路可以点到点实现无人接客，仍然还有一段很长的corner case 扫盲曲线需要攀爬。目前尚不清楚这是否是该车型的实际名称，但鉴于据说它具有类似赛博卡车的风格，这将是合理的。ASS（Actually Smart Summon，真正智能召唤）功能可以让你的车辆自动来到你身边，或者前往你选择的地点，完全自主。

原创 Ostring OString2024 2024年09月13日文中提到的技术报告和相应资料可以后台私信作者发送：德扑AI之父Noam Brown 2023年刚加入OpenAI，成为最新模型Strawberry 🍓的重要推手。一大早就被OpenAI o1 的发布刷屏。

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。

对于个人用户而言，面对海量的在线视频资源，快速准确地通过关键词或描述找到感兴趣的视频十分重要。同时，在个人存储设备如手机或网络云盘中，用户也存在检索自己拍摄录制的视频资料的需求。而对于视频剪辑师和制作团队来说，在庞大的媒资库中搜索所需的视频片段或素材是一项日常基础工作。精准高效的视频检索技术可以满足其在短时间内锁定匹配的素材，有效提升创作效率。基于大模型的自然语言视频检索多模态表征大模型能够将文本、图片、音频、视频等内容转换成高维空间中的向量表示，也称为嵌入（embeddings）。

例如，如果内核设计为每个线程处理一个数据元素，使用 可以直接映射N个线程到N个数据元素，而不需要额外的逻辑来分配线程到数据。使用 时，每个线程的全局索引可以直接用其线程块索引表示，因为每个线程块内只有一个线程。启动大量单个线程的线程块可能比启动少量多线程的线程块更有效率，因为每个线程块的启动开销是固定的，而更多的线程块可以更细粒度地利用GPU的并行处理能力。如果内核中没有线程间通信的需求，使用 可以减少线程块内线程间通信的复杂性和开销。

归约是一种常见的数据并行原语，它将数组中的元素通过某种二元操作（如加法）合并成一个单一的值。来演示重要的优化策略。由于规约的算术操作很简单，对算力要求不高，因此我们逐步优化目标是尽可能达到最高的带宽利用率，基本想法是：树状归约方法：在每个线程块内使用基于树的方法进行局部归约，然后需要处理如何跨线程块通信部分结果。

【代码】Nvidia nsight 性能分析工具。

从公开的信息披露，截至2023年9月，字节跳动已经建立超过一万张的英伟达Ampere架构GPU集群，目前正在建设Hopper架构的集群。英伟达Ampere架构主要包括A100和A800型号的芯片，Hopper架构相较前者则更新，主要包括H100和H800芯片字节和北大公布的论文，关于网络拓扑的描述主要是其中一章节：根据这段描述试图我们试图重现整个集群的拓扑结构单pod GPU数量为4096，多pod 通过core switch 进行全互联，可以支撑超大规模集群的scale out。

带宽对高性能计算是一个永恒的话题，本质上，带宽即数据交换的速率，单位时间的传输数据越多，带宽就越高，但对高性能计算来说，对高带宽的渴求永无止境，好比宏观现实世界中的车道，90年代设计的国道，对于低速的自行车和少量高速的货车来说，足以应付，但那个时代永远不会预料到，在21世纪的今天，高速的私家车会成为车道上的主要流量，因此，当时的设计已经遇到了车流量交换速率的瓶颈，在此基础上进行拓宽？面积受限，国道周围已经高楼大厦，架构已经成型，拓展空间已然被压缩。

目前应用比较多的是VLLM 和DeepSpeed， 关于二者的比较：

多模态能力： 多模态的处理能力，现在的Mixtral和各种MOE在处理多模态问题还是遇到瓶颈，实现demo状态的丝滑切换不光是要在模型层面下功夫，工程化也需要有极高的造诣，这一点不得不佩服，就演示的几个场景来看，从语音到提示打开视频识别，chatgpt切换极其自然和稳定，甚至有增加了过渡的语气和主持人开玩笑，就这个能力来看，不只是MOE expert切换能够解决的了；端到端的处理能力：这个能力的落地进一步验证了transformer的泛化能力，everything is token 的时代即将到来。

常规意义上的大模型处理流程后处理的输入是logits，其实准确说是hidden states，经过embedding table 映射后得到了最终的logits。

这个配置和性价比，以及内存带宽，同时统一大内存对编程模型天然友好，对开发者来说也是一大福音, 本地跑十亿级大模型已经不是问题, iPad 设备上大模型的落地，也会进一步激发相关应用的繁荣。北京时间 5/7 晚上，Apple正式发布了其M4 芯片，其对本地化的神经网络加速是一次越级的提升，第一次落地选在iPad上进行部署，从行业的角度是一个明智的选择，相比Mac Pro， iPad 的创作属性更加纯正，也符合AIGC 目前众多落地场景中的娱乐元素。期待其他更丰富的AI 应用本地化，后续持续追踪。

28/4 号的突然访华，在大多数人看来其实已经早已是计划之中，从摆在台面上的消息来看，主要目的是为了在大陆推广FSD的落地，也为8月份FSD 的正式版本做预热，和中国上海的第一次联姻造就了特斯拉model3 产能的极速提升，加速了model3 的落地，因此，FSD 是否能让特斯拉和中国再续前缘，关乎着Tesla 的股价是否能再一次起飞。从这个角度看，Tesla 是这个市场上独一无二的存在，拥有全栈FSD解决方案，同时拥有持续增长的真实道路数据，对于客户和投资者，需要时间静待花开，迎来突破曲线的拐点。

最近在关注美股，围观行业大佬分析NV 供应链体系，注意到一家公司VRT， 这家公司是NV 的独家液冷方案提供商。最近VRT 的股价青云直上，一家做液冷方案的公司护城河到底有多深，散热方案在整个行业中处于什么位置，这些问题是我想了解的。NV 的技术路线图从A100/H100 到最新GB200 的体系，TDP 也从300~700W 跃升到1000W 的门槛，以往的风冷方案在散热效率上显得非常力不从心。

下图为1U 高度的NVL72 单节点实物形态，其中每个节点包含两组GB200s 系统，整合水冷散热。![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/987b768da14344eab5fc9201aecc41ed.png实物NVL72 机柜![实物NVL72 机柜](https://img-blog.csdnimg.cn/direct/5398d8a1102a4a35acec66e85dc9e4d8.pngRank 之间的互联通过。

首先确认自己系统内有没有 ssh key。bash复制代码cd ~/.ssh若有，确认使用当前 key 或者生成新 key，若没有，生成新 key。由于我需要登录两个帐号，所以在已经存在的 key 的基础上，再生成一个 key。生成 ssh key-t 是使用的算法，一般都选择 rsa -C 为备注，一般以邮箱作为备注，提示保存文件时以 id_rsa_work 保存，用于区分第一个密钥id_rsa。至此，我的 ~/.ssh 文件夹内共有4个文件。

基本思想是基于词典匹配，将待分词的中文文本根据一定规则切分和调整，然后跟词典中的词语进行匹配，匹配成功则按照词典的词分词，匹配失败通过调整或者重新选择，如此反复循环即可。分词的处理，在英文中翻译成tokenizer，它拆分一段文本为独立的单元，成为token，其中的token可以是一个词语（word），也可以是一个句子（sentence），还可以是一个字符（character）。理解了肉身文字处理的原理，我们采用类似的方式让大语言模型能够理解这段中文，我们首先要按照类似的方式对这段文字进行预处理。

最近诺兰的电影奥本海默即将热映，其改编自Kai Bird和 Martin J. Sherwin的 2005 年Pulitzer Prize 获奖小说：“American Prometheus: The Triumph and Tragedy of J. Robert Oppenheimer”。这本小说作者研究奥本海默25年，才得以成形，可见奥神本人身上的故事曲折和传奇。

通过chatgpt 生成了tesla 主要产品线产品的参数：