- 博客(9)
- 收藏
- 关注
RSS订阅原创 脚本分发SSH的公匙以及如何远程删除多个目录
今天在搭建集群的时候，发现每台机器都要配置SSH免密登录，在利用ssh-copy-id分发公匙的时候，需要一台一台的输入密码，如果是几十台或者是上百台集群的话，配置起来相当麻烦，重复性的做同样的工作。所以可以利用脚本来一次性分发公匙。
2024-05-21 10:46:33
158
原创 IDEA如何导入hadoop源码和HDFS的目录结构分析
hadoop源码的下载地址为(https://archive.apache.org/dist/hadoop/common/)这个网站给出hadoop的所有发行版本可以根据自己的需求下载。我在这里下载的hadoop 3.1.4，下载后解压到本地。然后打开idea导入项目就行了，这里要注意配置maven，而且maven的存放目录不要和hadoop放在一起，而且要根据hadoop的版本来下载对象的maven，我这里下载的maven-3.9.4，关于maven的下载和配置可以自行搜索相关文章进行配置。
2024-05-20 18:22:23
1050
原创 Hadoop的集群搭建
我使用的是Hadoop3.1.1版本，连接https://archive.apache.org/dist/hadoop/common/，在这里可以找到所有的Hadoop版本，JDK使用的是1.8，我在阿里云上租了五台服务器，具体怎么租可以字型搜索，几毛钱一个小时，不用按小时，按抢占式就可以满足需求，后期如果有需要会专门出一个教程。注意，这里我们仅仅配置HDFS相关的配置，如果需要使用mapreduce和yarn，请自行搜索相关配置。添加Hadoop的安装路径，HADOOP_HOME需要是你自己的安装路径。
2024-05-20 18:15:35
1739
原创 BPR：一种分布式存储系统中的纠删码批量并行修复方法
如今，纠删码是分布式系统中广泛使用的最重要的技术之一，因为它可以在低存储开销的情况下提高大量数据的可靠性。然而，当分布式系统遇到大量条带数据丢失，需要批量条带数据恢复时，目前的数据恢复方法要么重复单条带恢复方法，要么在恢复大规模条带时只优化部分条带恢复，这样会产生繁重的上传和下载修复流量和不平衡的负载，影响故障恢复的效率并浪费额外的资源。在本文中，我们提出了BPR，一种用于分布式存储系统的纠删码批量并行修复方法。BPR通过对条带进行分类，并通过正向和反向的并行数据恢复，减少跨架网络传输时间，提高恢复吞吐量。
2023-06-21 19:41:10
430
原创 Beehive：用于修复分布式存储系统中多个故障的纠删码
分布式存储系统越来越多地部署纠删码（例如 Reed-Solomon 码）以实现容错。尽管 Reed-Solomon 代码需要的存储空间比复制少得多，但在通过重建修复不可用数据时，将强加大量的网络传输和磁盘 I/O。传统上，预计不可用的数据是单独固定的。然而，由于观察到数据中心的故障是相互关联的，修复多个故障的不可用数据是不可避免的，甚至是常见的。在本文中，我们表明，与单独修复它们相比，批量重建多个故障的数据所花费的网络传输和磁盘 I/O 成本要低得多。
2023-06-11 17:19:13
260
原创 利用联合局域性实现分布式存储中的宽条擦除编码（附代码）
纠删码是分布式存储系统中一种低成本的冗余机制，通过存储条纹数据和奇偶校验块。宽条纹最近被提出来抑制奇偶校验块在条带中的比例，以达到极大的存储节省。然而，宽条纹加重了修复损失，而现有的纠删码方法不能有效地解决宽条纹问题。在本文中，我们提出了联合局部性，这是第一个通过奇偶局部性和拓扑局部性的结合来系统地解决宽条纹修复问题的机制。我们使用高效的编码和更新方案进一步增强组合局部性。在Amazon EC2上的实验表明，与基于局部性的最先进技术相比，基于组合局部将单块修复时间减少了90.5%，而冗余度仅为1.063×。
2023-06-09 15:32:23
333
原创 基于热度的动态副本创建算法
在文件访问的过程中，实时的计算文件在统计周期内的访问频率，通过历史访问频率推算出文件当前的访问需求，最后按照要求动态的调整文本副本的数量。DRCA分为副本的复制、保持、和删除三种情况。
2022-11-23 16:24:58
202
原创 面试官问SpingBoot的自动装配原理，你如何回答？
最近一周都是处于找工作的状态，有位面试官问我spingboot的自动装配原理是什么，当时就让我感到很懵逼，回来查找了一下资料，简单整理一下自己对于springboot自动装配的理解。使用过springboot的朋友应该都知道，springboot有一个全局配置文件，也就是application.properties和application.yml文件，对于各种属性的配置都是在这个文件当中的，比如过server.port、logging.level.*等文件，问题是这些配置文件时如何在springboot项
2020-10-13 12:39:09
4774
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人