![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式计算
文章平均质量分 78
qq_41813878
这个作者很懒,什么都没留下…
展开
-
MapReduce程序实现求平均成绩等功能
参考:对于mapreduce程序的编写思路,例程代码理解,解题思路灵感,主要参考博客:https://blog.csdn.net/zhongqi2513/article/details/7832166401、10~14案例。环境配置主要参考博客:https://blog.csdn.net/weixin_42001089/article/details/81865101环境:操作系统:Ubuntu18.04java:1.8.0_251hadoop: 3.2.11. 计算每个学生必修课的平原创 2020-07-14 00:07:11 · 3850 阅读 · 1 评论 -
作业:阅读论文《The Hadoop Distributed File System》并回答一些问题
①客户端读取HDFS系统中指定文件指定偏移量处的数据时,工作流程是什么?HDFS客户端首先向NameNode询问承载该文件块副本的DataNode列表。然后,它直接与DataNode联系,并请求传输所需的块。客户端打开要读取的文件时,它将从NameNode获取块列表和每个块副本的位置。每个块的位置按它们与阅读器的距离排序。读取块的内容时,客户端首先尝试最接近的副本。如果读取尝试失败,则客户端将依次尝试下一个副本。如果目标DataNode不可用,该节点不再托管该块的副本或在测试校验和时发现该副本已损坏,则原创 2020-07-13 23:51:27 · 1222 阅读 · 3 评论 -
pyspark求学生平均成绩
一、环境:操作系统:Ubuntu18.04Python 3.6.9Spark 2.4.6二、问题及题解解题思路:1、过滤掉选修的成绩记录,然后通过map构造(姓名,成绩)的键值对,经过一系列处理后通过得到每个学生必修课的平均成绩(代码即可看出思路)2.通过自定义函数处理每个(姓名,平均分)键值对返回(“分数段”,1)键值对然后通过reduceBykey聚合得到每个分数段的总人数三、测试数据、测试过程、测试结果数据:过程及结果:四、源码:from pyspark im原创 2020-07-10 12:46:02 · 2701 阅读 · 0 评论 -
webservice查询天气
一、文件目录二、WeatherClient源码package wsclient;import java.util.List;import wsproxy.ArrayOfString;import wsproxy.WeatherWS;import wsproxy.WeatherWSSoap;public class WeatherClient { public static...原创 2020-04-06 11:46:21 · 544 阅读 · 0 评论 -
RPC/RMI实验
源码目录结构(服务器端和客户端放在同一项目的不同包中):若要分开,服务器端可以直接把RMIclient包删掉客户端可以这样:源码:1.服务器端:BOOK.java:package RMIserve;import java.rmi.Remote;import java.rmi.RemoteException;import java.util.LinkedList;pub...原创 2020-03-26 11:57:22 · 840 阅读 · 0 评论 -
UDP+阻塞队列+多线程实验
一、实验目的练习 Java 多线程编程技术。练习实现网络并发服务的编程技术。学习如何实现多线程间的相互同步和相互协作。理解什么是线程安全。二. 设计要求功能概述:实现一个支持并发服务的网络运算服务器程序。该服务器能够同时接收来自于多个客户端的运算请求,然后根据运算类型和请求参数完成实际的运算,最后把运算结果返回给客户端。具体要求:(1)至少支持加、减、乘、除四种基本运算。(...原创 2020-03-12 13:55:03 · 2588 阅读 · 0 评论