自己动手搭建一个简单的基于Hadoop的离线分析系统之二——HDFS
在上一篇《自己动手搭建一个简单的基于Hadoop的离线分析系统之一——网络爬虫》文章中介绍了整个系统的数据来源,这一篇文章从HDFS入手,介绍整个离线分析系统的数据存储。
一、脚本处理流程
爬取到的数据信息往往非常庞大,以至于单靠一台存储设备不能完整的保存下来,这时就可以使用分布式文件系统(HDFS)来解决这个问题,我们可以在每次爬取到一定数量的信息后,将其直接上传到集群中,这样就可以实现大容量的存储,因此,该脚本的处理流程类似下图所示。
二、脚本代码
#! /bin/bash
#set java env
export JAVA_HOME=/usr/local/jdk1.7.0_80
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:$JAVA_HOME/bin
#set hadoop env
export HADOOP_HOME=/root/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOO