红目香薰

Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)操作位置上传压缩包解压及修改文件夹名称Java环境配置与Hadoop环境配置执行脚本修改hadoop配置文件1、修改hadoop-env.sh2、修改yarn-env.sh3、修改core-site.xml4、修改hdfs-site.xml5、修改mapred-site.xml6、修改yarn-site.xmlhadoop初始化配置启动Hadoop服务访问服务

🤗Hadoop第一章：认识Hadoop🤗简介：Hadoop 是一个用 Java 语言实现的软件框架，运行在 Linux 生产平台上是非常理想的，同时也可以运行在其他平台上，如“Windows”等 用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。它主要有以下 5 个优点高可靠性 高扩展性 高效性 高容错性 低成本1、Java环境配置下载包链接：查询JDK是否安装javajavac如果安装移除即可yum remove java..

第二章、hadoop分布式集群1、配置静态IP地址和修改主机名2、配置主机名查询静态表3、配置SSH免密

第二章、hadoop分布式集群Hadoop分布式模式搭建流程：1、修改配置文件core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves1、配置【core-site.xml】vi /opt/hadoop/etc/hadoop/core-site.xml将【localhost】改为【master】 <!-- 指定HDFS的通讯地址 --> <prop...

Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件 流式数据访问 商用硬件 不能处理低时间延迟的数据访问 不能存放大量小文件 无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的概念，需要特别重点的理解数据块:在普通的文件系统中，每个磁盘都有默认的..

Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个..

Hadoop快速入门——第三章、MapReduce案例目录环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件夹10、通过【jar】执行​11、查看生成结果12、总结...

Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile...

Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop-eco.shZOOKEEPER_HOME=/opt/zo...

Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、解压【java】以及【hadoop】的压缩文件...