下页丶莫-CSDN博客

原创大数据系列之hadoop第三天（HDFS api代码及原理）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。HDFS API操作实现步骤：1.创建java工程（Map/Reduce Project）2.导入hadoop依赖jar包连接namenode以及读取hdfs中指定文件@Testpublic void testConnectNamenode() throws Exception{

2020-06-12 19:31:53 146

原创大数据系列之hadoop第二天（hadoop命令及HDFS存储原理）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。Hadoop-HDFS命令命令说明 1.执行：hadoop fs -mkdir /park 在hdfs 的根目录下，创建park目录 2.执行：hadoop fs -ls / ...

2020-06-10 19:20:36 235

原创大数据系列之hadoop第一天（hadoop介绍和伪分布式安装）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。Hadoop概述官方网址：http://hadoop.apache.org/Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。Hadoop的两个作用：①存储海量数据 ②计算海量数据Hadoop允许使用简单的编程模型在.

2020-06-09 20:31:05 745