hadoop
Hadoop
好色仙人的徒弟
这个作者很懒,什么都没留下…
展开
-
使用不同的云服务器搭建Hadoop集群
文章目录前言服务器基本配置Hadoop完全分布式搭建前言本次使用的云服务器分别是:阿里云服务器、华为云服务器以及百度云服务器。配置均为2核4G1M,仅作为学习使用。软件方面:xshell6jdk1.8hadoop3.1.3节点名称阿里云:node1华为云:node2百度云:node3服务器基本配置创建好实例后,首先要进行连接。本实验使用的是xshell6连接工具。这里以阿里云为例。打开云服务控制台,找到IP地址,记录公网和私网IP;通俗来说公网IP相当于你的身份证,是原创 2020-06-23 23:03:54 · 1274 阅读 · 2 评论 -
hadoop初体验——WordCount实例
WordCount实例是大数据学习过程中的入门,相当于学习各种编程语言时打印“Hello World”的一样。本次实验是通过Java代码来实现的。数据准备任意创建一个文本文件,在其中写入一些单词,并用空格隔开。Mapper阶段:import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.h.原创 2020-05-21 10:08:29 · 382 阅读 · 0 评论 -
简述Hadoop中读写数据流程、NameNode、Seconday以及DataNode工作机制
分布式文件系统HDFS(Distributed File System)是大数据生态组件Hadoop的一个重要组成部分。它是一个具有高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS写在这里插入图片描述数据流程HDFS写数据流程(图)简述:客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在;NameNode返回是否可以上传;客户端向.原创 2020-05-20 08:49:17 · 636 阅读 · 0 评论 -
Hadoop3.1.3完全分布式环境搭建
该段注释为profile文件注释原创 2020-05-16 08:56:52 · 755 阅读 · 0 评论