分布式计算
文章平均质量分 83
Polaris_T
失败总是贯穿人生的始终,这就是常态。
展开
-
分布式计算MapReduce | Spark实验
输入文件为学生成绩信息,包含了必修课与选修课成绩,格式如下:班级1, 姓名1, 科目1, 必修, 成绩1 (注:为换行符)班级2, 姓名2, 科目1, 必修, 成绩2 班级1, 姓名1, 科目2, 选修, 成绩3 ………., ………, ………, ………, ……… 编写两个Hadoop平台上的MapReduce程序,分别实现如下功能:计算每个学生必修课的平均成绩。按科目统计每个班的平均成绩。输入文件的每一行为具有父子/父女/母子/母女/关系的一对人名,例如:Tim, Andy Harry, Alice M原创 2022-08-03 16:24:04 · 4128 阅读 · 0 评论 -
分布式计算实验5:HDFS论文阅读
客户端计算接收到的数据的校验和,并验证新计算的校验和是否与它接收到的校验和相匹配。当新的DataNode加入集群的时候,NameNode会询问DataNode有关该DataNode存储了哪些Block的信息,并间断地更新“数据块物理节点对应表”。如果NameNode失效,则内存中的BackupNode的映像和磁盘上的检查点是最新名称空间状态的记录。创建新块时,HDFS将第一个副本放置在Writer所在的物理节点上,将第二个和第三个副本放置在不同机架服务器中的两个不同物理节点上,其余放置在随机节点上。....原创 2022-08-03 16:19:12 · 1151 阅读 · 0 评论 -
分布式计算实验4 随机信号分析系统
函数,使其能够实现题目的要求:开辟一个动态数组,每隔一段时间从消息队列中取得一个随机数并加入该数组,然后利用该数组即可求出过去N个信号的均值和方差,也可以求出全局的最小值和最大值。由于题目要求将过去一段时间的信号动态显示出来,也要求把信号分析结果显示出来,因此我让信号分析微服务在发送消息时,把当前的信号值也封装在消息中,这样可视化微服务只需要订阅主题为。的消息,每次从消息队列中取出一个随机信号加入自己维护的数组中,然后对数组中的元素进行处理,得到信号的统计分析结果(均值、方差、最小值、最大值等等)。...原创 2022-08-03 16:17:04 · 2171 阅读 · 1 评论 -
分布式计算实验3 基于PRC的书籍信息管理系统
客户端需实现的功能为:(a) 查询注册中心获得远程方法的引用,(b) 调用远程方法实现与书籍管理系统的信息交互,© 提供简洁的用户交互界面,以处理用户的各种操作请求与输入输出。主要包括显示所有的功能列表,根据用户输入的功能号调用相应的远程方法进行对书籍的增删改查,再根据远程调用返回的结果进行后续处理等等。(a) 定义书籍类Book,在其中定义书籍类属性bookID和bookName,接着定义实例的构造方法(即传入书籍ID和书名创建书籍对象),最后定义一个BookInfo()方法用来打印某个书籍对象的信息。.原创 2022-08-03 16:12:12 · 2031 阅读 · 0 评论 -
分布式计算实验2 线程池
安装jdk,安装maven,为maven设置阿里或腾讯镜像仓库,用maven编译Helloworld版的java程序。将基于TCP协议的Client Server通信程序示例的服务器端程序改造成线程池版。原创 2022-08-03 15:06:24 · 1669 阅读 · 0 评论 -
分布式计算实验1 负载均衡
随着Internet的快速发展和业务量的不断提高,基于网络的数据访问流量迅速增长,一些数据中心的瞬时数据通信量甚至可高达几十Gb每秒。同时,服务器网站借助基于HTTP,FTP,SMTP等协议的应用,为访问者提供了越来越丰富的内容和信息,这导致服务器逐渐被海量数据淹没。此外,大部分网站(尤其是电商、交通部门)都需要提供不间断的24小时服务,任何服务中断或关键数据丢失都会造成不可估量的高额商业损失。这些,都对应用服务提出了高性能和高可靠性的需求。然而,相对于网络...原创 2022-08-03 15:00:35 · 2272 阅读 · 0 评论