安装和配置Hadoop和HDFS以及模拟生成新能源车辆数据并写入HDFS

目录

前言

一、基本要求

二、准备虚拟机

1.什么是虚拟机？ 

2.虚拟机和Hadoop有什么联系？

三、安装和配置Hadoop和HDFS

1.下载Hadoop

2.解压缩Hadoop

3.配置环境变量

4.配置Hadoop

5.配置HDFS

6.配置节点

7.格式化HDFS

8.启动Hadoop

9.验证安装

​四、安装Python库

五、生成新能源车辆数据并写入文件

1.导入所需的库

2. 生成数据

3.将数据写入到文件

4. 获取文件大小

5. 获取文件名

6.获取文件路径

7.生成数据并写入文件

六、将数据写入HDFS

结语

---

前言

在本篇博客中，将介绍如何使用Python模拟生成新能源车辆数据，并将数据写入HDFS（Hadoop分布式文件系统）中。这样的数据生成和存储过程可以用于各种数据分析和机器学习任务。

本篇博客仅供参考，更多的是自己的学习心得和笔记，希望可以对其他人有帮助。

一、基本要求

• 编写一个程序，每天凌晨3点模拟生成当天的新能源车辆数据（字段信息必须包含：车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等）。

1、最终部署时，要将这些数据写到第一题的HDFS中；

2、车辆数据要按天存储，数据格式是JSON格式，另外如果数据文件大于100M，则另起一个文件存。每天的数据总量不少于300M。比如假设程序是2023-01-1 03点运行，那么就将当前模拟生成的数据写入到HDFS的/can_data/2023-01-01文件夹的can-2023-01-01.json文件中，写满100M，则继续写到can-2023-01-01.json.2文件中，依次类推；

3、每天模拟生成的车辆数据中，必须至少包含20辆车的数据，即要含有20个车架号（一个车架号表示一辆车，用字符串表示）；

4、每天生成的数据中要有少量（20条左右）重复数据（所有字段都相同的两条数据则认为是重复数据），且同一辆车的两条数据的数据生成时间间隔两秒；

5、每天生成的数据中要混有少量前几天的数据（即数据生成时间不是当天，而是前几天的）。

二、准备虚拟机

下载网址：VMware Workstation Player | VMware

下载教程可在网上搜索一下~

1.什么是虚拟机？ 

虚拟机是一种软件实现的计算机系统，它在物理计算机上模拟了一个完整的计算机环境。虚拟机可以运行在物理计算机的操作系统之上，并提供了一种隔离和独立的运行环境，使得多个虚拟机可以在同一台物理计算机上同时运行。

2.虚拟机和Hadoop有什么联系？

虚拟机和Hadoop之间有一定的联系。Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。虚拟机可以用于部署和管理Hadoop集群，提供了一种灵活和可扩展的方式来运行Hadoop。

三、安装和配置Hadoop和HDFS

首先，我们需要安装和配置Hadoop和HDFS，可以按照Hadoop官方文档的指引进行安装和配置，确保HDFS正常运行。

Hadoop官方文档：Hadoop文档 (apache.org)

• 什么是Hadoop？

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它由Apache软件基金会开发和维护，并成为大数据处理领域的重要工具之一。

Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。

• 什么是HDFS？

HDFS是Hadoop的分布式文件系统，，用于存储和管理大规模数据集。它的设计目标是在廉价的硬件上提供高容错性、高可靠性和高吞吐量的数据存储。

安装和配置Hadoop和HDFS是一项复杂的任务，需要一些基本的计算机知识和系统管理技能。以下是一般安装和配置步骤：

请注意，这只是一个简单的安装和配置指南，实际的安装和配置过程可能因操作系统和版本而有所不同。建议参考Hadoop官方文档和相关资源，以获取更详细和针对你特定环境的安装和配置指南。

1.下载Hadoop

首先，需要从Hadoop官方网站下载适用于我们的操作系统的Hadoop软件包。需要确保选择与我们的操作系统版本和架构相匹配的软件包。

Hadoop官方网站：Apache Hadoop

2.解压缩Hadoop

将下载的Hadoop软件包解压缩到你选择的目录中。

3.配置环境变量

打开我们的操作系统的环境变量配置文件（例如，对于Linux系统，打开~/.bashrc文件），并添加以下行：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将/path/to/hadoop替换为你解压缩Hadoop软件包的路径。

4.配置Hadoop

进入Hadoop的安装目录，并编辑etc/hadoop/hadoop-env.sh文件（vi etc/hadoop/hadoop-env.sh）。找到以下行并设置Java的安装路径：

   export JAVA_HOME=/path/to/java

将/path/to/java替换为你的Java安装路径。

5.配置HDFS

编辑etc/hadoop/core-site.xml（vi etc/hadoop/core-site.xml）文件，添加以下配置：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

将localhost替换为你的主机名或IP地址。

6.配置节点

编辑