- 博客(634)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 Linux运维入门教程（☆建议收藏☆）
在当下，Linux运维是每个企业都不能缺少的岗位，以服务为中心，以稳定、安全、高效为基本，可以确保公司的互联网业务能够7*24小时为用户提供高质量的服务，在企业或产品交付交付运行当中有着十分重要的地位和作用。.............................................
2022-07-12 09:33:19
15395
4
原创 Consul专题文章索引
Consul 简化了分布式环境中的服务的注册和发现流程，通过 HTTP 或者 DNS 接口发现。支持外部 SaaS 提供者等。
2018-03-06 19:25:32
2078
转载 跨域数据分布式传输关键技术研究
为有效降低企业运营成本、促进绿色发展，“东数西算”工程已全面启动。在此背景下，构建大带宽、低时延、智能化、安全高效的传输网络，成为实现大数据场景下计算、存储向西部高效转移的关键技术。本文分析了跨域数据分布式传输的研究现状及技术演进，深入浅出地介绍了传输优化、传输保障、安全加密三大关键技术，并对跨域数据分布式传输的未来进行展望，旨在深入探讨如何增强跨域数据交换能力，以提供稳定高性能的文件传输保障。
2024-07-24 09:43:05
7
原创 配置阿里云yum源
CentOS，是基于Red Hat Linux提供的可自由使用源代码的企业级Linux发行版本；是一个稳定，可预测，可管理和可复制的免费企业级计算平台。通知：CentOS 8操作系统版本结束了生命周期（EOL），Linux社区已不再维护该操作系统版本。建议您切换到Anolis或Alinux。如果您的业务过渡期仍需要使用CentOS 8系统中的一些安装包，请根据下文切换CentOS 8的源。
2024-07-16 09:33:04
279
原创 一文-深入了解Ansible常见模块、安装和部署
Ansible是一个配置管理系统configuration management system, python 语言是运维人员必须会的语言, ansible 是一个基于python 开发的（集合了众多运维工具 puppet、cfengine、chef、func、fabric的优点）自动化运维工具, 其功能实现基于ssh远程连接服务, ansible 可以实现批量系统配置，批量软件部署，批量文件拷贝，批量运行命令等功能, 除了ansible之外，还有saltstack 等批量管理软件.
2024-07-16 09:22:21
437
转载 如何基于 Harbor 和 Registry 实现大规模镜像管理分发
Dragonfly 是很多人所推荐的镜像分发工具，但是我没有找到符合场景的案例。Dragonfly 的文档结构并不算很清晰，我理解的 Dragonfly 可以分成两部分:DfdaemonDfdaemon 与 Docker 官方 Registry 的 Mirror 功能类似，用来代理镜像层流量。这一部分是可以单独使用的，并不依赖于其他组件。分发网络分发网络是 Dragonfly 的核心功能，V1 版的组件是 Supernode，V2 版的组件是 Scheduler、Manager 等。
2024-07-02 17:08:07
75
转载 FTP的连接方式（防火墙的配置）
FTP是仅基于TCP的服务，不支持UDP。与众不同的是FTP使用2个端口，一个数据端口和一个命令端口（也可叫做控制端口）。通常来说这两个端口是21（命令端口）和20（数据端口）。
2024-06-28 09:55:47
107
转载 Dragonfly 基于 P2P 的文件和镜像分发系统
Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。Dragonfly 面向镜像分发和文件分发，结合 P2P 网络和服务器集群的思想，向用户提供稳定的，高效的下载服务。Dragonfly 希望在服务器内部构建 P2P 网络，将服务器的不同主机节点分为 Manager、Scheduler、Seed Peer 以及 Peer 四个角色，分别提供不同的功能。
2024-06-26 10:16:14
115
转载 P2P镜像分发：Harbor+Dragonfly优化k8s集群镜像拉取速度（二）
Dragonfly（蜻蜓）是一款开源的基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。是由CNCF（云原生计算基金会）作为孵化级项目（阿里）。
2024-06-24 15:14:31
112
转载 P2P镜像分发：Harbor+Kraken优化镜像拉取速度（一）
随着云原生架构被越来越多的企业接受，企业应用中容器集群的规模也越来越大。当容器集群达到一定的规模且单容器应用副本数达到一定级别时，集群中容器镜像的分发将面临挑战。P2P（Peer-to-Peer，点对点）镜像分发借鉴了互联网P2P文件传输的思路，旨在提高镜像在容器集群中的分发效率，以更快的镜像拉取速度来对kubernetes集群进行优化。本篇主要讲述KrakenHarbor的理论部分。
2024-06-24 15:06:29
96
转载 数据中心网络：什么是Spine-Leaf架构？
在传统的大型数据中心，采用了层次化模型设计的三层网络。将复杂的网络设计分成几个层次，每个层次着重于某些特定的功能，这样就能够使一个复杂的大问题变成许多简单的小问题。
2024-06-20 16:45:28
246
转载 高性能分布式缓存系统 cache
cache项目基于缓存旁路（Cache Aside Pattern）设计，采用了一种独特的双层缓存策略，即首先尝试从本地内存缓存中获取数据，未果则转向全局的Redis缓存。当数据不在任何缓存中时，它将调用加载函数从底层数据库加载数据，并将其存入缓存以备后续快速访问。这一机制确保了即使在极端情况下也能提供高效的缓存服务。
2024-06-19 17:22:43
57
转载 探索 Garnet：微软开源的高性能分布式缓存存储系统
微软研究院近期宣布推出一款名为 Garnet 的创新开源分布式缓存存储系统，致力于解决现代应用程序在处理大规模数据时对于高吞吐量、低延迟及卓越可扩展性的严苛要求。这款基于 C# .NET 8.0 构建的新型系统，充分利用了现代硬件能力，为应用程序开发人员提供了加速数据访问与处理的强大工具。
2024-06-19 17:20:23
110
原创 英伟达的GDS
英伟达的GDS，即GPUDirect Storage，是英伟达开发的一种技术，它允许GPU直接访问存储设备，从而显著提高数据传输效率和性能。
2024-05-15 08:40:20
806
转载 2024存内社区公开课上线-从底层算力角度，带你入门大模型，这才是开发者该学的课程
来源：https://bbs.csdn.net/topics/618537908
2024-04-30 23:28:39
116
原创 【Go编程】“私有元素”和“公有元素”的访问规则
以下变量和函数均以大写字母开头，表示可以从任何位置访问；以下变量和函数均以小写字母开头，表示只能在包内调用；
2024-04-08 10:32:11
147
原创 AI辅助信息技术发展
随着人工智能技术的持续发展与突破，2024年AI辅助研发正成为科技界和工业界瞩目的焦点。从医药研发到汽车设计，从软件开发到材料科学，AI正逐渐渗透到研发的各个环节，变革着传统的研发模式。在这一背景下，AI辅助研发不仅提升了研发效率，降低了成本，更在某种程度上解决了复杂问题，推动了科技进步。2024年，随着AI技术的进一步成熟，AI辅助研发的趋势将更加明显，其潜力也将得到更广泛的挖掘和应用。
2024-03-15 22:59:50
468
转载 突破存储硬件瓶颈
随着存储速度越来越快，以及网络存储的兴起，这种设计逐渐成为了存储的瓶颈。另外，本地硬盘协议，以及网络协议，也都成为了提高性能的绊脚石。
2024-03-15 09:00:14
114
原创 从政府工作报告探计算机行业发展
政府工作报告作为政府工作的全面总结和未来规划，不仅反映了国家整体的发展态势，也为各行各业提供了发展的指引和参考。随着信息技术的快速发展，计算机行业已经成为推动经济社会发展的重要引擎之一。因此，从政府工作报告中探寻计算机行业的发展趋势、政策导向和未来机遇，对于行业内的企业和从业者来说具有重要的指导意义。
2024-03-15 00:03:11
429
原创 程序员如何选择职业赛道？
在探索程序员的职业赛道时，犹如踏上一段迷宫般的旅程。前端的美丽花园、后端的黑暗洞穴以及数据科学的神秘密室，每一个方向都充满了挑战与机遇。那么，如何在这个迷宫中找到属于自己的道路呢？
2024-03-13 17:58:05
656
原创 Sora爆火，多模态大模型背后的存算思考
随着OpenAI推出Sora，人工智能从文本到文本、文本到图片的生成模式，进阶到文生视频。其文本到视频的模型能够生成长达一分钟的视频，在保持视觉质量的同时并严格遵循用户的提示，使得“扔进一本小说，生成一部电影”的想法成为现实。OpenAI将这一创新描述为构建“物理世界的通用模拟器”，这不仅是一项技术突破，也是人工智能领域探索的又一里程碑。
2024-03-13 16:00:00
1840
原创 业界主流数据加速技术路线
计算存储分离已经成为云计算的一种发展趋势。在计算存储分离之前，普遍采用的是传统的计算存储相互融合的架构，但是这种架构存在一定的问题，比如在集群扩容的时候会面临计算能力和存储能力相互不匹配的问题。用户在某些情况下只需要扩容计算能力或者存储能力，而传统的融合架构不能满足用户的这种需求，进行单独的扩充计算或者存储能力；其次在缩容的时候可能会遇到人工干预，人工干预完后需要保证数据在多个节点中同步，而当有多个副本需要同步时候，可能会造成的数据丢失。而计算存储分离架构则可以很好的解决这些问题，使得用户只需要关心整个集群
2024-03-11 18:00:00
1007
原创 阿里云数据湖存储加速套件JindoData
阿里云作为一家全球领先的云计算及人工智能科技公司，其产品EMR提供了相对方便可控的企业级大数据服务，作为EMR的核心，在底层存储也有突出的设计和优化，本文主要调研和阿里云EMR的存储核心产品能力。阿里云EMR在存储领域的核心组件涉及SmartData、JindoData、JindoFS、jindoFSx、OSS-HDFS、JindoCache等概念。本文不讨论阿里云盘古等底层存储系统的设计。
2024-03-11 16:11:31
1935
原创 论文导读：用DNA作为计算和数据存储的通用化学基质
生物计算有望解决传统硅基计算在分子诊断、数据存储和信息安全等领域的应用局限。由于高度的可编辑性和可预测性，DNA是首选的计算及信息存储的基质。在化学综述中，团队重点探讨了DNA计算,尤其是在神经网络和区室化DNA电路等方向的研究最近进展。作者还讨论了DNA数据存储中包括DNA编码数据的写入、读取、检索和合成后编辑的新进展。最后，团队提出DNA计算与DNA数据存储的结合为未来的重要方向，将对信息技术和分析诊断的发展带来重大意义。
2024-03-10 18:07:15
1066
原创 论文导读：消费级大模型Yi （零一万物技术揭密）
Yi模型家族是一系列展示出强大多维能力的自然语言和多模态模型。Yi模型家族基于6B和34B预训练语言模型，然后我们将其扩展到聊天模型、20万长上下文模型、深度扩展模型和视觉-语言模型。
2024-03-10 17:54:58
2387
原创 Pb量级超大容量光存储
中国科学院上海光学精密机械研究所（以下简称“上海光机所”）与上海理工大学等科研单位合作，在超大容量三维超分辨光存储研究中取得突破性进展。研究团队利用国际首创的双光束调控聚集诱导发光超分辨光存储技术，实验上首次在信息写入和读出均突破了衍射极限的限制，实现了点尺寸为54nm、道间距为70nm的超分辨数据存储，并完成了100层的多层记录，单盘等效容量达Pb量级。
2024-03-09 23:00:12
439
原创 存算一体成为突破算力瓶颈的关键技术？
在GPT-2之前的模型时代，GPU内存还能满足AI大模型的需求，近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，实际上GPT-3等大模型的参数增长已经超过了GPU内存的增长。基于存算一体超异构概念，亿铸科技提出了自己的技术畅想：若能把新型忆阻器技术(RRAM)、存算一体架构、芯粒技术（Chiplet）、3D封装等技术结合，将会实现更大的有效算力、放置更多的参数、实现更高的能效比、更好的软件兼容性、从而突破性能瓶颈，抬高AI大算力芯片的发展天花板。
2024-03-09 22:52:19
1061
原创 突破性进展！“超级光盘”诞生！
存储容量是普通光盘上万倍、普通硬盘上百倍的“超级光盘”，在中国科学院上海光学精密机械研究所诞生。这对于我国在信息存储领域突破关键核心技术、实现数字经济的可持续发展具有重大意义。
2024-03-09 22:46:43
369
原创 数据中台开源技术栈：一图看懂全面的数据管理与应用架构
随着数字化时代的到来，数据管理和应用架构变得越来越重要。数据平台作为一个集中管理和利用数据的架构，为组织提供了促进数据驱动决策和业务创新的能力。本文通过一幅图表，将数据平台技术栈的组成部分清晰呈现，助您深入了解数据中台的全面数据管理与应用架构。
2024-03-08 08:59:05
3576
原创 HBM研究框架：突破“内存墙”，封装新突破
HBM突破“内存墙”,实现高带宽高容量，成为Al芯片最强辅助，我们认为HBM将持续迭代，1/0口数量以及单1/0口速率将逐渐提升，HBM3以及HBM3e逐渐成为Al服务器主流配置，且产品周期相对较长，单颗容量及配置颗数逐步增加，预计HBM4于2026年发布。2024年全球HBM市场有望超百亿美元，市场空间足，国产供应链加速配套。
2024-03-08 00:30:00
722
原创 大模型专题报告：百模渐欲迷人眼，AI应用繁花开
工业革命级的生产力工具。目前，ANI已经广泛应用，AGI处于研发阶段，大模型是实现AGI的重要路径。AI大模型通过预先在海量数据上进行大规模训练，而后能通过微调 以适应一系列下游任务的通用人工智能模型。在“大数据+大算力+强算法”的加持下，进一步通过“提示+指令微调+人类反馈”方式，实现一个模型应用在很多不同领域。
2024-03-07 08:48:46
1065
原创 存储专题系列一：新应用发轫，存力升级大势所趋
存储的下游应用过去以手机、PC和服务器为主，以手机、PC为例的消费电子自去年以来需求持续低迷，至今复苏需求仍不明朗，而人工智能和汽车电子作为新兴应用方兴未艾，激发大量增量需求。
2024-03-07 00:30:00
417
原创 华金证券2024：以“芯”助先进算法，以“算”驱万物智能
大模型技术所带来的突破以及商业化前景促使全球进 入AI竞赛，其中，美国在AI领域依旧担当着创新者和引领者的身份。大模型的发展依托于强大 的算法、庞大的数据量以及巨大的算力支撑，当下大模型逐步从单模态走向多模态，对于以英 伟达GPU为代表的算力需求快速爆发，全球范围内算力芯片的供需缺口一定程度上降低了多模态 大模型的发展速度，但依旧无法阻止AI技术向前演进以及商业化逐步落地，因此而对国内外算 力产业链带来了巨大的发展机遇。
2024-03-06 09:25:07
383
原创 中航证券2024 AI智算时代已至，算力芯片加速升级
智算中心的发展基于最新人工智能理论和领先的人工智能计算架构，当前算法模型的发展趋势以Al大模型为代表，算力技术与算法模型是其中的核心关键，算力技术以Al芯片、Al服务器、Al集群为载体。
2024-03-06 09:08:19
1038
原创 论文导读：万卡集群训练大模型（by字节跳动）
字节跳动提出了万卡集群大模型训练架构MegaScale，并在12288个GPU上训练一个175B LLM模型时，用MegaScale实现了55.2%的MFU，比Megatron-LM提高了1.34倍；提供了万卡集群训练大模型的踩坑经验；证实了强大完备的训练基础设施（包含各种各样的诊断工具、监测工具、可视化工具等）对高效、稳定训练LLM至关重要；
2024-03-05 17:28:34
5000
原创 AI芯片行业深度：发展现状、竞争格局、市场空间及相关公司深度梳理
从AIGC产业链出发了解AI芯片在产业链中的地位及作用，分析不同类别的AI芯片的作用及特性都有哪些，我国AI芯片行业现状及竞争格局是怎样的，目前全球AI芯片的四大技术路线都有哪些？chatGPT及“文心一言”的出现对于AI芯片市场又怎样的影响，市场空间有多大，相关公司都有哪些，未来有怎样的发展趋势？
2024-03-05 17:13:24
3195
大模型专题报告：百模渐欲迷人眼，AI应用繁花开
2024-03-07
存储专题系列一：新应用发轫，存力升级大势所趋
2024-03-06
AI智算时代：算力芯片加速升级
2024-03-06
翻译分布式文件系统：BeeGFS vs GlusterFS.pdf
2023-08-16
2023东北证券-计算机行业AI深度报告，向量数据库：AI时代的Killer+App-230508.pdf
2023-08-15
计算机：CPU生态价值与机遇研究.pdf
2023-08-15
大数据+物联网智慧水务解决方案.pdf
2023-08-15
2022中国图计算技术及应用发展研究报告.pdf
2023-08-15
金融行业信创云基础架构方案评估.pdf
2023-08-15
计算产业发展简史及趋势
2023-08-15
2021全球加密技术发展趋势研究
2023-08-15
2022 分布式存储市场调研报告 + 分布式存储
2022-05-18
下一代数据存储技术研究报告（2021年）
2021-08-01
fio-2.14.tar.bz2
2017-05-03
Linux中LCD设备驱动
2013-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人