Hadoop
相同同
这个作者很懒,什么都没留下…
展开
-
Hadoop学习
Hadoop 学习第三天一、实战HDFS二、HDFS的高可靠性机制第三天一、实战HDFSHDFS主要提供了HDFS Web UI、HDFS Shell命令和HDFS API三种类型接口。1.使用HDFS Web UI:在浏览器输入NameNodeIP:50070就可以查看到HDFS文件系统的相关信息了。2.使用HDFS Shell命令:使用Shell命令可以对HDFS进行操作,完成文件的上传,下载,复制,查看等等操作。命令统一入口为hadoop3.使用HDFS Java API:HDFS提原创 2020-10-30 09:12:23 · 136 阅读 · 0 评论 -
Hadoop学习
Hadoop学习第二天一、第一个MapReduce程序二、分布式文件系统HDFS2.1 HDFS简介2.2 HDFS体系架构2.3 HDfS文件存储机制2.4 HDFS数据读取过程2.5 HDFS数据写入过程第二天一、第一个MapReduce程序本次实例使用hadoop自带的MapReduce程序WordCount,WordCount的主要功能是统计输入目录下所有文件单词出现的次数,并把统计结果输出到指定目录下。1.在hdfs根目录下创建目录InputDataTesthdfs dfs -mkdir原创 2020-10-28 16:39:51 · 407 阅读 · 0 评论 -
Hadoop学习
这里写目录标题Hadoop学习一、Hadoop部署Hadoop学习一、Hadoop部署Hadoop是适合分布式存储和分布式计算的平台,主要由分布式文件系统HDFS,统一资源管理和调度框架YARN以及分布式计算框架MapReduce组成。笔者使用如下版本测试完成,初学者可以下载相应版本(JDK13,Hadoop2.8.5,hive2.3.7,scala2.11.12)在官网上可以下载到相应的版本。1.首先配置jdk环境,这个就不说了。2.然后解压Hadoop,hive,scala我这里都解压到了/原创 2020-10-27 16:34:11 · 77 阅读 · 0 评论