Hadoop框架及其子组件HDFS
开源的分布式存储和分布式计算平台
Hadoop能做什么:
搭建大型数据仓库
PB级数据的存储,处理,分析,统计等业务
搜索引擎
日志分析
数据挖掘
商业智能
Hadoop核心组件
HDFS: 分布式文件系统Namenode Datanodes
Hadoop YARN 资源调度系统
Hadoop MapReduce 分布式计算框架
数据输入》》进行拆分》》进行Map操作》》进行shuffle操作》》进行Reduce操作》》输出最终结果
Hadoop生态系统
分布式存储系统HDFS
HDFS环境搭建
HDFS shell操作
Hadoop fs -ls /
Hadoop fs -text
Hadoop fs -mv
Hadoop fs -put
Hadoop fs -rm
python操作HDFS
HDFS读写流程