大数据平台技术与应用实验
文章平均质量分 96
实验应用
Brisa56
加油
展开
-
3.MapReduce程序设计
实验目的 掌握Map/Reduce相关原理和设计方法,设计相关的应用。 实验内容 一、数据集及程序功能要求 数据集stock-daily,包含A股近4000只股票的最近30天日数据,根据此数据实现股票风险监测统计:统计和输出股票代码和风险值 数据来源:https://www.joinquant.com/help/api/help?name=JQData 风险值统计方法: 1. 忽略股票停牌当日数据 2. 忽略N/A数据行 3. 股价下行指数,((开盘价 - 收盘价) / (收盘价 - ...原创 2020-07-08 16:16:11 · 2157 阅读 · 5 评论 -
2.HDFS应用
实验目的 掌握HDFS安装、HDFS命令和HDFS Java API编程。 实验内容 掌握HDFS命令使用方法; 熟悉开发环境配置和编码过程; 掌握HDFS Java API的基本用法。 实验步骤 一、HDFS配置和启动 修改HDFS配置并在集群中启动HDFS。 二、HDFS命令行测试 在集群节点中输入HDFS命令行完成目录管理和文件上传/下载等操作,具体完成以下操作: 查看HDFS根目录; 在HDFS根目录创建文件夹test; 从Linux中上传一个文件至...原创 2020-07-08 16:14:29 · 385 阅读 · 0 评论 -
1.Hadoop集群的配置
本机环境:Windows10虚拟机:centos7所需软件、安装包:JDK、hadoop、winscp(可选)原创 2022-09-19 11:41:14 · 1512 阅读 · 0 评论