自己动手搭建一个简单的基于Hadoop的离线分析系统之二——HDFS

最新推荐文章于 2022-04-17 15:36:00 发布

Leon1895

最新推荐文章于 2022-04-17 15:36:00 发布

阅读量439

点赞数

分类专栏：大数据实战文章标签： Hadoop

本文链接：https://blog.csdn.net/qq_40793975/article/details/85236400

版权

本文是系列文章的第二篇，主要介绍如何利用HDFS搭建离线分析系统的数据存储部分。通过脚本处理流程，详细阐述了数据从爬取到上传至HDFS的过程，并探讨了后续的MapReduce分布式计算改进方案，为实现更高效的数据处理打下基础。

摘要由CSDN通过智能技术生成

自己动手搭建一个简单的基于Hadoop的离线分析系统之二——HDFS

在上一篇《自己动手搭建一个简单的基于Hadoop的离线分析系统之一——网络爬虫》文章中介绍了整个系统的数据来源，这一篇文章从HDFS入手，介绍整个离线分析系统的数据存储。

一、脚本处理流程

爬取到的数据信息往往非常庞大，以至于单靠一台存储设备不能完整的保存下来，这时就可以使用分布式文件系统（HDFS）来解决这个问题，我们可以在每次爬取到一定数量的信息后，将其直接上传到集群中，这样就可以实现大容量的存储，因此，该脚本的处理流程类似下图所示。

二、脚本代码

#! /bin/bash

#set java env
export JAVA_HOME=/usr/local/jdk1.7.0_80
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:$JAVA_HOME/bin

#set hadoop env
export HADOOP_HOME=/root/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOO