hadoop
文章平均质量分 93
码上有你_LL
编程积累
展开
-
Hadoop系列之简介
1 Hadoop 简介与安装1.1Hadoop 简介 1.1.1 Hadoop 的诞生Hadoop 是由 Apache Lucene 创始人 Doug Cutting 创建的。它起源于开源搜索引擎 Apache Nutch。Nutch 项目开始于 2002 年,是一个可以运行的网页爬取工具和搜索引擎系统,但是这个系统无法解决数十亿的搜索问题。 1.1.2 H...原创 2018-10-07 14:43:29 · 358 阅读 · 0 评论 -
hadoop系列之linux系统模板的制作
CentOS7_64 位操作系统模板搭建 作者:家辉,日期:2018-07-10 CSDN 博客: http://blog.csdn.net/gobitan 说明:鉴于平时使用虚拟机做各种测试的频率非常高,难免有很多重复工作。这里以 CentOS-7-x86_64-Minimal-1804 安装为基础安装了虚拟机,然后再做了如下配置与安装。将该虚拟机做成模板,可以直接拷贝使用,很方...转载 2018-10-07 14:51:45 · 268 阅读 · 0 评论 -
Hadoop系列之hadoop环境搭建本地模式
1.1 Hadoop 环境搭建Hadoop 的环境可以有多种方式,比如本地模式(standalone)、伪分布式、完全分布式以及 HA 模式。参考:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttps://blog.csdn.net/qq_26442...原创 2018-10-07 15:16:40 · 388 阅读 · 1 评论 -
hadoop系列之伪分布式环境搭建及测试验证
Hadoop2.x 伪分布式环境搭建及测试验证作者:Dennis 日期:2018-08-09 前置条件:Linux 虚拟机一台,版本为 CentOS 7.4,假设 IP 地址为 192.168.159.181,并修改如下:修改/etc/hostname 的内容为 hadoop01 说明:修改了主机名之后需要重启才能生效。 修改/etc/hosts 的内容为 备注:配置...原创 2018-10-07 16:07:52 · 568 阅读 · 0 评论 -
Hadoop系列之完全分布式环境搭建及测试验证
前置条件:已制作好CentOS 虚拟机模板。 该模板安装好Oracle JDK,且 JAVA_HOME 值为/usr/java/jdk1.8.0_171-amd64/jre。CentOS 模板安装可参博客: https://blog.csdn.net/gobitan/article/details/80993354 准备三台虚拟机搭建完全 Hadoop 分布式最少需要三台服务器...原创 2018-10-08 14:28:08 · 816 阅读 · 0 评论 -
hadoop系列之完全分布式+HA 环境搭建及测试验证
前置条件:已制作好CentOS 虚拟机模板。 该模板安装好Oracle JDK,且 JAVA_HOME 值为/usr/java/jdk1.8.0_171-amd64/jre。CentOS 模板安装可参考博客: https://blog.csdn.net/gobitan/article/details/80993354 准备三台虚拟机搭建完全 Hadoop 分布式+HA 最少需要...原创 2018-10-09 14:47:41 · 770 阅读 · 0 评论 -
hadoop系列之HDFS 原理与实战
HDFS 文件系统HDFS 简介HDFS 是 Hadoop Distributed File System 的简称,即 Hadoop 分布式文件系统。它起源于谷歌发表的 GFS 论文, 是该论文的开源实现,也是整个大数据的基础。HDFS 专门为解决大数据的存储问题而产生的,具有如下特点: 可存储超大文件:HDFS 可存储 PB 级的数据 流式数据访问:一次写入...原创 2018-10-09 15:56:56 · 408 阅读 · 0 评论 -
hadoop系列之yarn
YARN YARN 概述 YARN,即 Yet Another Resource Negotiator 的缩写, 它是 Hadoop 资源管理系统,是在 Hadoop2 以后引入的。它在整个 Hadoop 中的位置如下: YARN 与 MapReduce1 MapReduce1 指 Hadoop1.x 中的 MapReduce 分布式执行框...原创 2018-10-09 17:20:15 · 314 阅读 · 0 评论