- 博客(569)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 Linux运维入门教程（☆建议收藏☆）
在当下，Linux运维是每个企业都不能缺少的岗位，以服务为中心，以稳定、安全、高效为基本，可以确保公司的互联网业务能够7*24小时为用户提供高质量的服务，在企业或产品交付交付运行当中有着十分重要的地位和作用。.............................................
2022-07-12 09:33:19
10921
4
原创 Consul专题文章索引
Consul 简化了分布式环境中的服务的注册和发现流程，通过 HTTP 或者 DNS 接口发现。支持外部 SaaS 提供者等。
2018-03-06 19:25:32
2033
原创 白皮书 | 分布式存储发展白皮书（2023）
12月1日，在2023云原生产业大会上，中国信通院云大所联合华为、戴尔科技、IBM等分布式存储产业方阵成员单位共同发布《分布式存储发展白皮书（2023年）》
2023-12-08 08:58:54
57
原创 [FAST23论文导读]More Than Capacity- Performance-oriented Evolution of Pangu in Alibaba
本文介绍了Pangu存储系统如何不断地随着硬件技术和业务模型的发展而不断演进，提供具有100us级I/O延迟的高性能、可靠的存储服务。
2023-11-19 20:25:51
322
原创 【fast21论文导读】 Learning Cache Replacement with Cacheus
CACHEUS建立在LeCaR的成功之上。它在几个方面对LeCaR进行了改进。首先，虽然LeCaR主张使用经典的LRU和LFU，CACHEUS证明了使用更复杂的专家的重要性。其次，CACHEUS通过识别和消除其机器学习机制的冗余方面简化了LeCaR。第三，它创建了一个完全自适应的版本，也是轻量级的。最后，新的轻量级专家SR-LRU和CR-LFU改进了LeCaR的专家，以解决扫描和搅动这两个新的工作负载原语类型。通过这些改进，CACHEUS的表现优于LeCaR以及其他最先进的算法。
2023-11-12 22:57:13
772
原创 【sosp23论文导读】Ditto：一个弹性自适应分离式内存缓存系统
Ditto首先提出了一个以客户端为中心的缓存框架，以在DM的计算池中高效地执行各种缓存算法，只依赖于远程内存访问。然后，Ditto采用了一种分布式自适应缓存方案，该方案基于多个缓存算法的实时性能自适应切换到最适合的缓存算法，以提高缓存命中率。
2023-11-04 19:15:25
614
转载 布隆过滤器技术原理及应用实战
在我之前实现的个人项目——分布式定时器 xtimer 中就使用到了布隆过滤器作为任务幂等性校验的辅助工具.该项目详细介绍见文章——基于协程池架构实现分布式定时器 XTimerxtimer 架构图如下：在 xtimer 中，定时任务的实际执行聚焦在执行器 executor 模块，是由上游 trigger 模块异步启动的，只能通过一种类似于 ack 的分片过期时间延长操作，保证到定时任务满足 at least once 的语义，但无法做到 exactly once 的语义.
2023-09-25 19:12:58
1029
原创 2023年企业级存储主要发展趋势
到2027年，有25%的企业组织计划采用NVMe-oF存储网络协议，相对于2023年中期不到10%的采用率，呈现出明显的增长趋势。截至2026年，专用NVMe SSD将在本地化部署中占据超过30%的份额，相较于2023年中期不到5%的水平，呈现出明显的增长趋势。到2028年，将有70%的文件和对象数据部署在一个统一的非结构化数据存储平台上，从2023年初的35%增加到70%。到2027年，至少40%的组织将部署数据存储管理解决方案，用于分类、洞察和优化，从2023年初的15%增加到40%。
2023-09-20 09:03:51
1191
1
原创 2023年非结构化数据管理报告
采用分析、分类和分段数据的工具和实践可以导致细致入微的数据管理策略：低优先级的数据存储在存档存储中，直到需要进行活动使用或可以删除为止，而高优先级的活动数据保留在最昂贵的顶级存储中。这些问题包括从敏感数据泄露到威胁公司知识产权和个人身份信息保护的通用语言学习模型（LLMs），再到伦理、准确性、数据源溯源的担忧，以及派生作品的版权问题，甚至是恶意行为者可能造成的威胁，这些都是企业和社会需要认真面对的问题。当前的AI浪潮迅速塑造了新的工作方式，带来了显著的生产率提升，改变了产品和服务的创造与分发方式。
2023-09-20 09:00:08
1135
原创 各种存储性能瓶颈如何分析与优化？
分布式存储系统的核心设计思想是去中心化， 去中心化的难点主要在于是主控节点的去中心化，有主控节点的架构比如 HDFS 的架构设计思路是 map-reduce ，化大为小，分而治之，再合并处理，其架构中需要主控节点来协调，只是主控节点的负载都分发到了数据节点，数据节点上则存放着数据副本，每个数据副本又都分布在三个不同的数据节点上，如图 5 所示；随着数字化转型的深入，企业的 IT 系统建设也进一步加快，这一方面带来了数据量的急剧增长，另一方面也提高了数据的访问频率，存储的性能瓶颈的影响也会被进一步放大。
2023-09-19 08:59:41
1162
原创 对话ChatGPT：AIGC时代下，分布式存储的应用与前景
作为始终致力于行业创新应用与数据存储技术融合发展的国内领先存储厂商，今天我们“邀请”到ChatGPT对以下问题进行作答，看看它在回答存储专业问题方面的表现。
2023-09-19 08:53:11
1699
原创 AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读：一是AIGC对存储提的新需求；二是介绍腾讯云可以给用户提供的整体存储解决方案；三是腾讯云提供的整体数据处理方案。
2023-09-19 08:47:50
1224
原创 HPC集群自动弹性扩缩的两种实现方式
弹性扩缩技术正在成为HPC集群中的一项重要技术。它可以根据实际需求动态调整集群资源，应对用户负载的波动。对于运维团队来说，自动弹性扩缩能够减轻集群运维负担，提高集群资源利用率，降低成本。
2023-09-18 14:29:54
1211
原创 2023：生成式AI与存储最新发展和趋势分析（上）
生成式AI的热潮在短时间内席卷全球，以一种势不可挡的趋势迅速出圈，在某一时间段，似乎出现了“除了IT行业，人人都是AI专家”的盛况。这一轮如火如荼的全民AI热潮迸发至今，业已过半载，待最初的烟花绚烂散去，现如今又情形何如?
2023-09-18 07:31:01
1281
原创 2023：生成式AI与存储最新发展和趋势分析（下）
近两年存储领域最大的里程碑事件应该是闪存赢得过半市场，Gartner 连续几个季度的市场分析数据中也多次都确认了这一点，固态存储取代机械硬盘的趋势不可逆转。在这一大背景下，有三个新发展方向日益引起更多关注，分别是存储新介质，可计算存储（存算一体）和进一步的极致性能追求。
2023-09-18 07:27:29
1193
原创 基于本地持久内存的并行一致性哈希文件系统CHFS
CHFS是一个利用计算节点的持久内存的自适应并行文件系统。该设计完全基于高度可扩展的分布式键值存储，采用一致性哈希算法。CHFS通过消除专用元数据服务器、顺序执行和集中式数据管理，提高了并行数据访问性能和元数据性能的可扩展性。
2023-09-18 07:23:39
1152
原创 【整理】text2kgbench: 语言模型根据本体生成知识图谱的能力
该论文的研究背景是大型语言模型（LLM）和基于本体的知识图谱（KG）在自然语言处理（NLP）任务中的性能提升。 过去的方法存在一些问题，该论文提出的方法通过从文本中生成KG并遵循给定的本体，解决了这些问题，并鼓励了新的方法。 本文提出了Text2KGBench，一个基准测试，用于评估语言模型根据本体从自然语言文本中生成KG的能力。该方法使用两个数据集和七个评估指标来评估抽取性能、本体合规性和LLM的"幻觉"。还提供了两个基准模型的结果。
2023-09-18 07:20:12
1365
原创 【整理】难得的中文开源数据集
上海人工智能实验室搞了一个OpenDataLab，上面发布了5000+的中文的开源数据集，可以随意下载下来，用来训练自己的AI大模型的，真的是功德无量啊。
2023-09-18 07:18:31
1560
原创 基于 Alluxio 构建统一数据接入层
Alluxio 在知乎的多云架构中发挥了重要作用，为我们解决了数据安全、跨云、专线流量等一系列问题，为知乎的数据处理和模型训练提供了高效、安全、便利的解决方案。在未来，我们将继续深入挖掘 Alluxio 的潜力，探索更多的应用场景，为知乎的技术发展贡献更多的力量。
2023-09-13 09:09:06
1198
原创 一文了解数据科学Notebook
主要介绍什么是Notebook，Notebook在数据科学领域的应用的重要性与优势，以及数据科学家/算法团队在选择Notebook时需考虑哪些关键因素。同时，基于Notebook的筛选考量维度，对常见的Notebook进初步对比分析，为数据科学家、算法工程师提供参考。
2023-09-11 09:42:18
1216
原创 【前沿】数据目录是什么？您为何需要它？
数据目录就是关于企业数据资产的一个有序清单。它可以使用元数据来帮助企业管理数据，帮助数据专业人员收集、组织、访问和充实元数据，从而为数据发现和治理提供支持。
2023-09-08 09:22:46
942
原创 数据资产管理：数据目录怎么搞？
数据治理定义了数据管理的总体策略，规定了数据管理的组织、制度和流程，明确了数据的权属，定义了数据标准，为数据资产管理指明方向。数据资产目录是数据治理策略的具体执行，以业务友好的方式展示企业的数据资产和位置，帮助用户更好地找到、理解和使用他们的数据。
2023-09-07 19:54:21
1066
原创 浅谈数据治理中的智能数据目录
IBM很早就认识到将机器学习应用到数据管理的重要性，在IBM的Cloud Pak for Data中，机器学习无处不在，遍布数据集成、自动化数据管理、多云数据整合、数据准备、建议和数据洞察
2023-09-07 19:35:50
864
原创 数据分类分级流程
随着互联网的快速发展和大数据时代的到来，数据分类和分级成为了数据管理中的重要环节。数据分类分级的目的是为了让数据更加有序、易于管理和利用。本文将从数据分类分级的概念、流程和方法等方面进行介绍。
2023-09-05 10:12:43
1030
转载 Milvus 2.1 版本更新 - 简单可信赖、性能持续提升
继年初发布 Milvus 2.0 版本之后，在数百位 Milvus 社区贡献者六个月的共同努力下，我们在早些时候发布了 Milvus 2.1 版本，经过两个月的数次迭代，版本趋于稳定，被国内外头部厂商信任和选择使用。在此次大版本更新中，最为重要的两个关键词莫过于：易用性和性能。
2023-09-05 08:43:33
270
转载 纠删码技术在vivo存储系统的演进【上篇】
本文将学术界和工业界的纠删码技术的核心研究成果进行了相应的梳理，然后针对公司线上存储系统的纠删码进行分析，结合互联网企业通用的IDC资源、服务器资源、网络资源、业务特性进行分析对原有纠删码技术进行优化和微创新，提出了融合EC整体方案以及可落地的RS+LRC+中间结果优化+并行修复跨AZ带宽设计方案，为后续的工程实践提供重要原理和架构支撑。
2023-08-24 17:34:26
243
翻译 翻译：2023年企业数据存储的主要趋势
受云启发的运营模式、先进的闪存技术、网络安全和数据洞察力都是2023年企业最热门的存储趋势。基础设施和运营领导者必须优先考虑这些技术和存储平台，以保持领先于业务需求。
2023-08-16 20:00:00
361
转载 DAOS 分布式异步对象存储｜控制平面
DAOS 通过两个紧密集成的平面进行运转。数据平面处理繁重的运输操作，而控制平面负责进程编排和存储管理，简化数据平面的操作。
2023-08-16 00:30:00
303
转载 DAOS 分布式异步对象存储｜数据平面
DAOS 通过两个紧密集成的平面进行运转。数据平面处理繁重的运输操作，而控制平面负责进程编排和存储管理，简化数据平面的操作。
2023-08-16 00:30:00
371
转载 DAOS 分布式异步对象存储｜相关组件
DAOS 的安装涉及多个组件，这些组件可以是集中式的，也可以是分布式的。DAOS 软件定义存储 (software-defined storage, SDS) 框架依赖于两种不同的通信通道：
2023-08-16 00:15:00
327
转载 DAOS 分布式异步对象存储｜分层和服务
基于服务的架构提供了灵活性和可扩展性，它与一组基础架构库相结合，这些库提供了可供所有 DAOS 服务访问的丰富软件生态系统。
2023-08-16 00:15:00
353
转载 聊聊daos高性能分布式存储
Daos(Distribute Asynchronous Object Storage)是基于非易失内存(NVM)构建的一个开源自定义对象存储.daos提供key-value存储接口和提供non-bloking I/O、数据的多版本、快照等功能。Daos存储系统充分利用了下一代的NVM技术，比如SCM(Storage Class Memory)和NVMe(NVM express).采用kernel bypass技术，端对端的运行在用户态，在执行IO操作期间不需要任何的系统调用。
2023-08-15 19:52:28
444
转载 DAOS 分布式异步对象存储｜架构设计
分布式异步对象存储 (DAOS) 是一个开源的对象存储系统，专为大规模分布式非易失性内存 (NVM, Non-Volatile Memory) 设计，利用了 SCM(Storage-Class Memory) 和 NVMe(Non-Volatile Memory express) 等的下一代 NVM 技术。
2023-08-15 19:36:01
373
原创 基于鲲鹏平台Ceph深度性能调优
刘亮奇随着 IOT、大数据、移动互联等应用的暴涨，产生的数据也越来越多，整个存储市场总量也逐年增长，预计到 2021 年分布式存储会占到整个存储市场的 50%，到 2027 年，分布式存储会占到整个市场的 70%。Ceph 则是典型的分布式存储软件的代表。杉岩数据作为一家软件定义存储商，软件的发展与硬件的结合密必不可分，与华为共建 ARM 生态是杉岩发展的关键着力点。目前，杉岩数据的对象存储 MOS 和块存储 USP 已完成在鲲鹏平台的适配工作，且可进行商用。
2023-08-15 00:15:00
475
原创 Ceph读写性能估算方法
最近在做Ceph性能测试相关工作，在测试初期由于没有得到理想的测试结果，因此对Ceph集群进行了优化，但是一直有个问题萦绕在我的脑海：基于当前硬件配置，这个Ceph集群的极限是多少？
2023-08-14 01:30:00
400
翻译分布式文件系统：BeeGFS vs GlusterFS.pdf
2023-08-16
2023东北证券-计算机行业AI深度报告，向量数据库：AI时代的Killer+App-230508.pdf
2023-08-15
计算机：CPU生态价值与机遇研究.pdf
2023-08-15
大数据+物联网智慧水务解决方案.pdf
2023-08-15
2022中国图计算技术及应用发展研究报告.pdf
2023-08-15
金融行业信创云基础架构方案评估.pdf
2023-08-15
计算产业发展简史及趋势
2023-08-15
2021全球加密技术发展趋势研究
2023-08-15
2022 分布式存储市场调研报告 + 分布式存储
2022-05-18
下一代数据存储技术研究报告（2021年）
2021-08-01
fio-2.14.tar.bz2
2017-05-03
Linux中LCD设备驱动
2013-11-06
UBIFS文件系统介绍
2013-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人