Hadoop生态系统及HDFS的上传下载

大数据特征

*Volume*(大数据量)：90% 的数据是过去两年产生
*Velocity*(速度快)：数据增长速度快，时效性高
*Variety*(多样化)：数据种类和来源多样化
	**结构化数据、半结构化数据、非结构化数据**
*Value*(价值密度低)：需挖掘获取数据价值

固有特征

时效性
不可变性

Hadoop是什么？

Hadoop是一个开源分布式系统架构
分布式文件系统HDFS——解决大数据存储
分布式计算框架MapReduce——解决大数据计算
分布式资源管理系统YARN
--处理海量数据的架构首选
--非常快得完成大数据计算任务
--已发展成为一个Hadoop生态圈

为什么使用Hadoop？

高扩展性，可伸缩
高可靠性
多副本机制，容错高
低成本
无共享架构
灵活，可存储任意类型数据
开源，社区活跃

Hadoop生态圈

HDFS特点
HDFS优点
支持处理超大文件
可运行在廉价机器上
高容错性
流式文件写入
HDFS缺点
不适合低延时数据访问场景
不适合小文件存取场景
不适合并发写入，文件随机修改场景

HDFS上传下载流程解释：

-------创建一个文件夹

public void testMKdir() throws URISyntaxException, IOException, InterruptedException {
    //1.创建配置
    Configuration conf=new Configuration();
    //2.获取文件系统
    FileSystem fs=FileSystem.get(new URI("hdfs://192.168.137.111:9000"),conf,"root");
    //3.调用API操作
    fs.mkdirs(new Path("/hdfs"));
    //4.关闭资源
    fs.close();
}

上传：

public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {
    Configuration conf=new Configuration();
    FileSystem fs=FileSystem.get(new URI("hdfs://192.168.137.111:9000"),conf,"root");
    fs.copyFromLocalFile(new Path("D://aaa.txt"),new Path("/hdfs/mmm.txt"));
    fs.close();
}

可通过hdfs界面查看

下载：

public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {
    Configuration conf=new Configuration();
    FileSystem fs=FileSystem.get(new URI("hdfs://192.168.137.111:9000"),conf,"root");
    fs.copyFromLocalFile(new Path("D://aaa.txt"),new Path("/hdfs/mmm.txt"));
    fs.close();
}

---------删除

public void testDelete() throws IOException, URISyntaxException, InterruptedException {
    Configuration conf=new Configuration();
    FileSystem fs=FileSystem.get(new URI("hdfs://192.168.137.111:9000"),conf,"root");
    fs.delete(new Path("/hdfs"),true);
    fs.close();
}

HDFS架构