hadoop之模拟生成新能源车辆数据

这篇博客介绍了一位新手使用Hadoop进行新能源车辆数据模拟生成的过程。内容包括Hadoop的基本概念,虚拟机的安装,以及具体的数据生成要求和Java代码示例。数据要求按天存储在HDFS中,JSON格式,每天至少20辆车的数据,包含重复和历史数据,以模拟真实情况。
摘要由CSDN通过智能技术生成

前言

小白选手一枚,如有写的不好之处,请多多包含!

一、Hadoop简介与虚拟机安装

1、Hadoop简介

简介:随着“互联网+”时代的到来,互联网的发展又到了一个新的高度,在这高速发展的情况下,所带来的问题就是数据成倍数的增长,数据增长对于公司的发展是好事,说明这个公司的用户很多,发展很迅速,但是对于机器来说却是个负担,这么多的数据要怎么存储的?这些大量数据还需要CPU计算,备份等问题。所以这些问题就制约了互联网的发展,所以Hadoop在此时就粉墨登场了。

2、虚拟机安装

软件:VMware 安装教程
镜像文件:CentOS-7-x86_64-DVD-1810.iso

二、要求及代码

1、要求

1、最终部署时,要将这些数据写到HDFS中。
2、车辆数据要按天存储,数据格式是JSON格式,另外如果数据文件大于100M,则另起一个文件存。每天的数据总量不少于300M。比如假设程序是2023-01-1 03点运行,那么就将当前模拟生成的数据写入到HDFS的/can_data/2023-01-01文件夹的can-2023-01-01.json文件中,写满100M,则继续写到can-2023-01-01.json.2文件中,依次类推;
3、每天模拟生成的车辆数据中,必须至少包含20辆车的数据,即要含有20个车架号(一个车架号表示一辆车,用字符串表示);
4、每天生成的数据中要有少量(20条左右)重复数据(所有字段都相同的两条数据则认为是重复数据),且同一辆车的两条数据的数据生成时间间隔两秒;
5、每天生成的数据中要混有少量前几天的数据(即数据生成时间不是当天,而是前几天的)。

2、题目

编写一个程序,每天凌晨3点模拟生成当天的新能源车辆数据(字段信息必须包含:车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等)。

3、代码

  • 以下是Java编写的程序示例,用于模拟生成的新能源车辆状态数据
    代码示例:
package catdata.data;

import java.util.ArrayList;
import java.util.List;

public class Status {
   
        public static List<String> geStatusList(List<Integer> mileageList){
   
            List<String
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值