大数据学习1 - hadoop环境搭建及操作

已于 2023-02-22 20:43:10 修改
阅读量3.4k 收藏 37
点赞数 5
分类专栏： 大数据分析技能学习 文章标签： 数据分析 学习 hadoop
于 2022-11-30 14:46:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52491597/article/details/128075430
版权

目录

目录

目录

一、什么是大数据？

二、什么是hadoop？

1.Hadoop核心组件

2.HDFS架构

3.MapReduce 

3.Yarn架构

 ​编辑

 三、Hadoop的集群模式

1.完全分布模式

 2.伪分布模式

3.独立模式

四、Hadoop创建伪分布式模式

1.获取安装Hadoop

2.修改Hadoop配置文件

3.启动hadoop

4.运行WerdCount测试

五、完全分布式（配置跟伪分布式有差别，可以直接替换）

 1.准备工作

2.修改静态IP地址

3.配置ssh免密

4.修改主机hadoop配置 

6.启动测试

6.其他配置

一、什么是大数据？

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 [19] 

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]  中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动力。那么，什么是“大数据”呢？如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据？不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB来衡量。

如何存储分析数据、对数据进行计算分析、怎么查询取出数据、根据数据进行价值预测都是大数据研究的方向。

二、什么是hadoop？

Hadoop是Apache基金会所开发的分布式系统基础架构，主要解决海量数据存储并分析计算的问题。

1.Hadoop核心组件

HDFS：分布式文件系统，是分布式计算中数据存储管理的基础。

MapReduce：用于大数据并行计算的一个计算模型。

Yarn：Hadoop中的资源管理器，可以为上层应用提供统一的资源管理和调度。

2.HDFS架构

1.HDFS采用主从架构（master/slave架构）。

2.HDFS集群是由一个NameNode和多个DataNode组成。

3.MapReduce 

MapReduce是Hadoop中离线数据分析计算的模型，主要分为Map和Reduce两个阶段： 1.Map阶段并行处理输入数据

2.Reduce阶段对Map结果进行汇总

3.Yarn架构

 

 三、Hadoop的集群模式

1.完全分布模式

在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。

 2.伪分布模式

在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。（伪分布式是按照完全分布式搭建）

3.独立模式

在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。

四、Hadoop创建伪分布式模式

1.获取安装Hadoop

Hadoop就是使用Java语言编写的，所以需要Java环境，如果没有请自行安装。

1.检查是否安装有Java，如果有使用【yum remove java -y】移除

2.在/opt里上传Java安装包，在该目录下创建java目录并将Java压缩包解压至java目录里

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

3.【mv jdk1.8.0_161 jdk】重命名文件夹为jdk，方便查找

4.将Java环境变量配置到 /etc/profile 里

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH

5.底线命令模式wq保存退出，【source /etc/profile】执行文件

6.使用【java】或者【javac】检查是否安装配置成功

1.下载Hadoop压缩包，并上传至 /opt/software 下。（Hadoop3.1下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/）

2.解压安装Hadoop

tar -zxvf hadoop-3.1.3.tar.gz

 为了方便我们重名命一下

mv hadoop-3.1.3 hadoop

 3.编辑 /etc/profile

vim /etc/profile

配置以下路径

HADOOP_HOME=/opt/software/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 配置完成后wq退出，使用 【source /etc/profile】执行文件，然后使用【hadoop】或者【hadoop version】查看配置是否生效

 到这里Hadoop的安装完成。

2.修改Hadoop配置文件

1.主要配置文件说明：

配置文件功能描述
hadoop-env.sh配置Hadoop运行所需的环境变量
yarn-env.sh配置Yarn运行所需的环境变量
core-site.xmlHadoop核心全局配置文件，可在其他配置文件中引用
hdfs-site.xmlHDFS配置文件，继承core-site.xml配置文件
mapred-site.xmlMapReduce配置文件，继承core-site.xml配置文件
yarn-site.xmlYarn配置文件，继承core-site.xml配置文件

2.cd到 /opt/software/hadoop/etc/hadoop 可以找到这些文件 

修改之前我们先手动把工作目录创建好

mkdir -p /opt/hadoop-record/name
mkdir -p /opt/hadoop-record/secondary
mkdir -p /opt/hadoop-record/data
mkdir -p /opt/hadoop-record/tmp

 1）修改hadoop-env.sh文件,大概在开头处找到位置，将自己的jdk路径放进去，等号两边千万不要有空格。

2）修改core-site.xml文件，在configuartion处添加内容

<configuration>
	 <!--  配置hadoop中Namenode的地址，mymaster为hostname主机名 -->
        <property>
                <name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
        </property>
       <property>
                <name>hadoop.tmp.dir</name>
	<!--  该路径自己指定，一般设置为hadoop下的data/tmp，该目录会自动创建，标识hadoop运行时产生文件的存储目录 -->
                <value>file:/opt/hadoop-record/tmp</value>
        </property>
</configuration>

  3）修改hdfs-site.xml文件，老样子在configuartion处添加内容

<configuration>
	<!--  备份复本数量，因为是伪分布式一台机器，所以写1即可 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    	<property>
		    <name>dfs.namenode.name.dir</name>
		    <value>file:/opt/hadoop-record/name</value>
	    </property>
	    <property>
		    <name>dfs.datanode.data.dir</name>
		    <value>file:/opt/hadoop-record/data</value>
	    </property>
</configuration>

4）修改mapred-site.xml文件，添加以下内容

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

 5）修改yarn-site.xml文件，添加以下内容

<configuration>
	<!--  指定yarn的resourceManager地址 -->
       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>localhost</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

3.启动hadoop

初次启动HDFS集群时，必须对主节点进行格式化处理，格式化文件系统指令如下（进入bin目录）：格式化之前确保namenode和datanode进程结束。

./hdfs namenode -format

也可以使用【hdfs namenode -format】直接格式化。

针对Hadoop集群的启动，需要启动内部包含的HDFS集群和YARN集群两个集群框架。启动方式有两种： 单节点逐个启动和使用脚本一键启动。

看到有successfully说明格式化成功

脚本一键启动和关闭：

（1）在主节点localhost上执行指令“start-dfs.sh”或“stop-dfs.sh”启动/关闭所有HDFS服务进程；

（2）在主节点localhost上执行指令“start-yarn.sh”或“stop-yarn.sh”启动/关闭所有YARN服务进程；

（3）在主节点localhost上执行“start-all.sh”或“stop-all.sh”指令，直接启动/关闭整个Hadoop集群服务（官方不建议使用，自己练习可以玩玩）。

如果启动遇到如下这几个参数的错误，说明是用户信息出现了错误

HDFS_NAMENODE_USER
HDFS_DATANODE_USER
HDFS_SECONDARYNAMENODE_USER
YARN_RESOURCEMANAGER_USER
YARN_NODEMANAGER_USER

可以将这参数添加到hadoop的 /sbin 目录里的这几个文件顶部中：

在【start-dfs.sh】【stop-dfs.sh】添加这几个参数：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在【start-yarn.sh】【stop-yarn.sh】添加这几个参数：

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

或者添加新建一个环境变量文件【vim /etc/profile.d/myhadoop_env.sh】（推荐）

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

里面加上以上参数，【source /etc/profile.d/myhadoop_env.sh】执行添加变量，然后再次启动。

全部启动后【jps】看到有6个进程

 关闭防火墙或者开放指定端口，使用【IP+端口号：9870（此端口是hadoop3.0改过后的）】或者【IP+端口号：8088】浏览器访问。如果连接不上可以使用【netstat -anp | grep 端口号】查看端口的监控地址，网上查找解决办法。看到有页面说明hadoop成功启动。(3.0版本以下的端口默认为50070和8088，分别对应HDFS集群和YARN集群)

  

4.运行WerdCount测试

1.进入 /opt 目录下创建文件 hello.txt 并编辑文件，随意输入一些字母

2.将本地hello.txt上传至hdfs下

hadoop fs -put hello /hello

如果上传出现这个报错

 

可以在【hdfs-site.xml】中追加下面的内容

<!-- appendToFile追加 -->
<property>
        <name>dfs.support.append</name>
        <value>true</value>
</property>
 
<property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>NEVER</value>
</property>
<property>
        <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
        <value>true</value>
</property>

3.进入/opt/software/hadoop/share/hadoop/mapreduce/ 并运行WordCount

cd /opt/hadoop/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /hello /out

4.运行完成后打印查看结果

hadoop fs -cat /out/part-r-00000

 可以看到打印结果是把每个单词出现的次数记录下来，英文中是以空格来区分单词的。

五、完全分布式（配置跟伪分布式有差别，可以直接替换）

 1.准备工作

1）克隆2台空的linux机器，分别修改IP和主机名

2）修改hosts文件中的主机和IP映射

3）配置master到slaves1机器和slaves2机器上的ssh免密登录

master

slave1

slave2

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

2.修改静态IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 将BOOTPROTO参数改为static，将ONBOOT参数改为yes

然后追加上这些参数：

IPADDR=192.168.11.127  #静态IP
PREFIX=24  #子网掩码长度
GATEWAY=192.168.1.1  #默认网关
DNS1=192.168.1.1  #域名

wq保存退出，其余两台机器也需要配置同样的网络，配置好后每台机器都重启网卡

 重启网卡：

service network restart

然后分别修改主机和子机的名称

vi /etc/hostname

下一步是配置【vi /etc/hosts】里IP地址和机器的关系，静态表

master
slaves1
slaves2

 将静态表远程拷贝到两个子机，过程中输入【yes】确认和密码

scp -r /etc/hosts slaves1:/etc/hosts

 2台机器都拷贝完后重启所有机器，就可以看到主机名已经修改了

3.配置ssh免密

主机输入以下命令获取秘钥

ssh-keygen -t rsa

直接回车跳过，将出现的秘钥拷贝至主机和2台子机

ssh-copy-id -i root@master
ssh-copy-id -i root@slaves1
ssh-copy-id -i root@slaves2

输入root用户的密码，然后【ssh 'root@主机名'】验证

远程登录测试

登录成功！

4.修改主机hadoop配置 

进入主机 /opt/software/hadoop/etc/hadoop 目录

1.修改【core-site.xml】文件

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为harry -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>harry</value>
</property>

<!-- 配置该harry(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.harry.hosts</name>
        <value>*</value>
</property>
<!-- 配置该harry(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.harry.groups</name>
        <value>*</value>
</property>
<!-- harry(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.harry.users</name>
        <value>*</value>
</property>
</configuration>

​ localhost 改为主机当前的名称 master，保存退出

2.进入【hdfs-site.xml】文件，数据备份数量改为3台

<configuration>
	<!-- NameNode web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>master:9870</value>
    </property>
    
	<!-- SecondaryNameNode web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slaves2:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

​ 

3.编辑【yarn-site.xml】文件，修改主机名

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!--yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

 5.编辑【mapred-site.xml】文件

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

​

5.配置修改 workers 文件 

vi workers
master
slaves1
slaves2

​

5.将jdk、hadoop、/etc/profile环境配置远程拷贝给2台子机器

拷贝jdk：

scp -r /opt/software/jdk slaves1:/opt/software/jdk
scp -r /opt/software/jdk slaves2:/opt/software/jdk

拷贝hadoop：

scp -r /opt/software/hadoop slaves1:/opt/software/hadoop
scp -r /opt/software/hadoop slaves2:/opt/software/hadoop

这个过程有点慢，请耐心等待……

拷贝环境：

scp /etc/profile slaves1:/etc/profile
scp /etc/profile slaves2:/etc/profile

6.启动测试

1.关闭3台机器的防火墙并禁止启动

systemctl stop firewalld
systemctl disable firewalld

2.3台机器执行 /etc/profile 环境变量文件

source /etc/profile

3.主机master格式化，如果是在伪分布式上修改而来，则需要删除配置的hadoop.tmp.dir对应的目录（如/opt/hadoop-record/data/目录），然后执行格式化命令

hdfs namenode -format

4.启动hadoop

start-all.sh

停止：

stop-all.sh

6.其他配置

1.配置历史服务器【mapred-site.xml】（可选）

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>

2.配置日志聚集【yarn-site.xml】（可选）

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://master:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

（说明：文章里的slaves被我误写成了salves，但是无伤大雅，在可复制的代码里已改，如有没有修改的可以自己改掉。）

六、hadoop常用命令

HDFS命令使用时语法为： hdfs dfs –xxx –参数 ，如：

创建目录： hdfs dfs –mkdir /test

查看目录： hdfs dfs –ls /

查看文件： hdfs dfs –cat /test/output.part-r-00000

查看文件行数：hdfs dfs –cat /xxx.txt | wc –l

查看前几行数据：hdfs dfs –cat /xxx.txt | head -5

查看后几行数据：hdfs dfs –cat /xxx.txt | tail-5

本地文件上传到hdfs下的test目录： hdfs dfs –put /xxx.txt  /test

从hdfs上把文件复制到本地：hdfs dfs -get /xxx.txt /opt/test

删除目录： hdfs dfs –rm –r /test/web.log

七、JavaAPI操作

Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

1.说明

hadoop整合了许多文件系统，HDFS只是其中的一个实例。

包名

功能描述

org.apache.hadoop.fs.FileSystem

它是通用文件系统的抽象基类，可以被分布式文件系统继承，它具有许多实现类

org.apache.hadoop.fs.FileStatus

它用于向客户端展示系统中文件和目录的元数据

org.apache.hadoop.fs.FSDataInputStream

文件输入流，用于读取Hadoop文件

org.apache.hadoop.fs.FSDataOutputStream

文件输出流，用于写Hadoop文件

org.apache.hadoop.conf.Configuration

访问配置项，默认配置参数在core-site.xml中

org.apache.hadoop.fs.Path

表示Hadoop文件系统中的一个文件或者一个目录的路径

在Java中操作HDFS，创建一个客户端实例主要涉及以下两个类：

（1）Configuration：该类的对象封装了客户端或者服务器的配置，Configuration实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群的配置信息。

（2）FileSystem：该类的对象是一个文件系统对象。

方法名

功能描述

copyFromLocalFile(Path src，Path dst)

类从本地磁盘复制文件到HDFS

copyToLocalFile(Path src，Path dst)

从HDFS复制文件到本地磁盘

mkdirs(Path f)

建立子目录

rename(Path src，Path dst)

重命名文件或文件夹

delete(Path f)

删除指定文件

2.操作

1.使用idea或者eclipse创建一个maven项目，添加依赖【hadoop-client】

2.初始化客户端对象

（1）编写Java测试类，构建Configuration和FileSystem对象，初始化一个客户端实例进行相应的操作
（2）

Configuration  configuration = new Configuration();

FileSystem fs= FileSystem.get(new URI("hdfs://192.168.11.130:9000"), configuration, "root");

3.在HDFS上创建目录

boolean bool = fs.mkdirs(new Path("/javaData"));

4.上传文件到HDFS

fs.copyFromLocalFile(new Path("C:\\test.txt"), new Path("/javaData"));

5.从HDFS上下载文件到本地

fs.copyToLocalFile(new Path("/javaData/test.txt"), new Path("D:\\test.txt"));

6.在HDFS上删除文件

boolean flag = fs.delete(new Path("/javaData/test.txt"));

7.获取HDFS所有节点内容

DistributedFileSystem  distributedFileSystem = (DistributedFileSystem) fs;
        try{
            DatanodeInfo[] datanodeInfos = distributedFileSystem.getDataNodeStats();
            for (DatanadeInfo di : datanodeInfos){
                System.out.println(di.getHostName());
            }
        }catch (Exception e){
            e.printStackTrace();
        }

8.获取HDFS文件列表

RemoteIterator<LocatedFiledStatus> listFiles = fs.listFiles(new Path("/"),true);
        while(listFiles.hasNext()){
            LocatedFileStatus fileStatus = listFiles.next();
            String fname = fileStatus.getPath().getName();
            System.out.println("文件名字为："+fname);
            long size = fileStatus.getBlockSize();
            System.out.println("文件大小为："+size);
            FsPormission fp = fileStatus.getPormission();
            System.out.println(fp);
            long size1 = fileStatus.getLen();
            System.out.println("文件大小为："+size1);
        }

愿望力
关注
  • 5
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的搭建与使用
LIyang_Yin的博客
06-28 412
目录1、需求分析（或者应用场景）2、环境说明3、项目运行效果4、项目完成步骤4.1 修改主机名4.2修改/etc/hosts文件，配置主机域名映射4.3 关闭防火墙（三台同时关闭)4.4 安装并配置NTP服务，用于时间同步4.5 配置免密码登录（只需要配置从主节点到从节点即可)4.6 将安装上传到服务器中4.7 安装和配置jdk4.8 安装Hadoop4.9 修改Hadoop的配置文件4.10 将修改好的环境复制到其他的从节点4.11 格式化Hadoop4.12 启动4.13 验证启动情况5、项目使用说明5
大数据基础（hadoop环境搭建及使用）
dyk
09-08 911
大数据大数据概念大数据特点（4V）Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）HadoopHadoop是什么Hadoop 三大发行版本Hadoop 优势Hadoop 组成 大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 大数据主要解决，海量数据的采集、存储和分析计算问题 大数据特点（4V） Volume（大
大数据应用之Hadoop环境安装与配置完全解析
最新发布
sinat_30844883的博客
07-21 876
Hadoop是apache公司开源的一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠、高扩展、高效与高容错等特点，是大数据分析与应用的必备技术。
hadoop 测试环境搭建
gang950502的博客
06-20 605
hdfs 测试环境搭建 新建4个虚拟机 操作系统选用 CentOS-7-x86_64-Everything-1503-01.iso/(win10 64位/vm12) 安装中选择基本服务器类型安装。在创建普通用户时赋予管理员权限，方便测试。 同步系统时间，要求所有机器时差小于30秒。 由于在VM上安装，时间自动统一。 由于后期有大量测试任务,需要配置四台机器间的静态IP访问，VM网
hadoop测试环境搭建1
梦想的翅膀
04-23 2563
废话少说直接干货 在虚拟机里安装hadoop，关闭防火墙、配置ip 我的系统环境为：win8系统、vmware11、centos81、设置虚拟机网络通信模式为host only模式 在虚拟机目录下找到vmnetcfg文件 2、设置windows连接 3、修改linux系统的的ip 命令【ifcfg-ens33为网卡名称根据自己实际情况调整】： vim /etc/sysconfi
Hadoop集群的搭建和使用
qq_21043585的博客
12-11 3047
文章目录Hadoop集群的搭建和使用1.实验目的2.Hadoop介绍3.实验环境4.集群搭建4.1修改主机名4.2修改host4.3配置ssh免密登录4.4安装Java5.安装Hadoop5.1下载hadoop5.2为 hadoop 设置系统环境变量5.3编辑 Hadoop 配置文件5.4验证Hadoop是否安装完成5.5分发Hadoop6.启动集群和 HDFS 文件系统的使用6.1格式化HDFS文件系统6.2启动集群6.3验证7.HDFS文件系统使用7.1命令行方式读写 hdfs8.通过java 程序读
大数据集群虚拟机-环境搭建-导入vmware直接使用
03-18
1、三个节点，含多种环境快照 2、环境包含Hadoop、Hive、Zookeeper、Spark、Kafka、Hbase、ES、scala、jdk、mysql 3、最大资源占用：6核cpu、7G内存、90G磁盘容量
大数据-Hadoop环境搭建(单机)
09-18
本文档旨在指导读者搭建大数据Hadoop环境，基于CentOS 6.8操作系统，使用JDK 1.8和Hadoop 2.8.2版本。文档涵盖了服务器选择、相关配置、Hadoop环境安装、JDK环境配置、Hadoop环境配置等内容。 一、环境选择 在搭建...
Win10不需要Cygwin搭建大数据测试环境-Hadoop
03-02
### Win10环境下无需Cygwin的大数据测试环境搭建——Hadoop详解 #### 前言 在大数据处理领域，Hadoop无疑是最重要的框架之一。它能够处理海量数据，并且具有良好的扩展性和容错性。然而，在Windows系统上搭建Hadoop...
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包
06-26
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表： hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
《Hadoop大数据技术与应用》-Hadoop环境搭建.pdf
10-30
【Hadoop大数据技术与应用】涉及的知识...以上就是Hadoop大数据技术与应用中关于环境搭建的主要知识点，对于进一步学习和使用Hadoop进行大数据处理至关重要。学习者应深入理解这些步骤，并通过实际操作来巩固理论知识。
hadoop使用
11-23
Linux使用；Hadoop安装；HDFS常用操作；HDFS常用操作java api；MapReduce计数操作，排序操作；HBase操作shell命令，HBase操作java api
HADOOP的部署及使用：一、HADOOP搭建
weixin_38441544的博客
08-22 665
Hadoop主要由三部分组成：HDFS(分布式文件系统），MapReduce计算框架以及集中资源调度器。 从这个三个不同的角度，Hadopp将主机分为以下六种角色：      从HDFS角度出发，主机被分为:Namenode和Datanode，对应守护进程（Namenode和Datanode以及SecondaryNameNode)     从Mapreduce角度出发,主机被分为:JobTr...
hadoop集群的搭建与使用
wang199316的博客
03-19 531
安装前准备 配置yum源：即将linux自身的yum源替换为阿里的yum源，以便于快速下载软件包等。 下载阿里的yum源 #wget http://mirrors.aliyun.com/repo/Centos-7.repo 下面标红的是新下载的阿里yum源： 将原来的repo进行备份： #mv CentOS-Base.repo CentOS-Base.repo.bak 将下载的阿里的rep...
大数据Hadoop测试环境搭建(CM、CDH5离线安装)
rainwell的博客
10-25 487
搜索安装教程很多 注意事项： 服务器可用虚拟机，内存8G，硬盘50G至少3台服务器，namenode1台，datanode2台主服务器装好cm后，scp到另2台服务器手动启动cloudera-scm-server和cloudera-scm-agent，service容易出各种问题有服务要用到apache到httpd，需要安装副本不足问题，查看dfs.replication，从3改为2服
Hadoop环境搭建与入门实例
doubleXnine的专栏
01-03 3694
1目的及要求 基于Hadoop平台，实现广度优先搜索(BFS)的Mapreduce算法找到图中两个点的最短路径。 给定一个图&lt;V，E&gt;（采用邻接列表输入文件格式：源节点ID，相邻节点ID，源节点到相邻节点的距离），基于MapReduce的方式，采用广度优先搜索(BFS)找到两个顶点的最短距离。   2实验环境 本实验基于虚拟机环境，所采用的软件及其版本如下： 虚拟机软件：O...
hadoop环境搭建和基本设置
编程笔记
08-26 572
一.linux网络设置 1、创建一个虚拟机（母机），并安装好centos（minimal）系统 2、从母机克隆出另外3台虚拟机 3、启动这4台虚拟机，登录进去修改网卡名、ip地址配置、主机名、域名映射 改主机名： vi /etc/sysconfig/network 改网卡名：mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1 改IP地址配置：vi /etc/sysconfig/ne
hadoop2.2.0测试环境搭建
mmicky的hadoop、Spark世界
05-13 2922
近几日，hadoop2.2.0稳定版发布，立即下载先搭建测试环境。1：规划centOS6.4上搭建hadoop2.2.0环境，java版本7UP21192.168.100.171 hadoop1 (namenode)192.168.100.172 hadoop2 (预留当namenode)192.168.100.173 hadoop3 (datanode)192.168.100.174 hadoo
Hadoop-安装和集群搭建以及基本使用
热门推荐
了无牵挂者忘生，心有所爱者忘死
03-12 3万+
1.Hadoop的简单安装 安装Hadoop前提需要配置安装好JDK 1.1.进入hadoop官网 http://hadoop.apache.org/ 镜像地址:http://mirror.bit.edu.cn/apache/hadoop/common/ 1.2.解压安装Hadoop 1.2.1 解压压缩文件 1.2.2 移动重命名...
Hadoop搭建HA
09-06
要搭建Hadoop的高可用（HA）环境，你需要考虑以下几个步骤： 1. 配置Hadoop集群：确保你已经成功地设置了一个Hadoop集群，并且所有节点都能够正常通信。 2. 配置ZooKeeper：HA模式下，Hadoop使用ZooKeeper来进行主节点的选举和故障切换。你需要安装和配置ZooKeeper集群。 3. 修改Hadoop配置文件：在core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件中，进行如下修改： - 在core-site.xml中，指定ZooKeeper的地址。 - 在hdfs-site.xml中，设置HA相关的属性，如nameservice、namenode、journalnode等。 - 在yarn-site.xml中，设置ResourceManager的高可用属性。 4. 启动JournalNodes：JournalNodes用于存储HDFS的元数据日志，并确保数据的一致性。启动JournalNodes之前，需要在hdfs-site.xml中指定JournalNode的地址。 5. 格式化NameNode：使用`hdfs namenode -format`命令格式化NameNode。这将创建一个新的命名空间并为HA做准备。 6. 启动NameNode和DataNode：启动NameNode时，指定HA相关的配置参数，并确保DataNode也能够正常启动。 7. 启动ResourceManager和NodeManager：启动ResourceManager时，同样要指定HA相关的配置参数，并确保NodeManager也能够正常启动。 8. 进行故障切换测试：通过停止当前的Active节点，触发故障切换，验证HA环境是否正常工作。 以上是搭建Hadoop的高可用环境的基本步骤，具体的配置细节和命令可能会根据你的环境和需求有所不同。请确保在进行任何配置更改之前备份重要数据，并参考官方文档或相关资源获取更多详细信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值