hadoop学习使用

最新推荐文章于 2024-03-05 13:21:04 发布
最新推荐文章于 2024-03-05 13:21:04 发布
阅读量2.1k 收藏 9
点赞数
分类专栏： hadoop高可用 文章标签： hadoop big data hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43206536/article/details/120575805
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、hadoop的作用？

hadoop是什么？

Hadoop是一个开源的框架，可编写和运行分布式应用，处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。

HDFS|sbin/start-dfs.sh
NameNode | 主节点 |sbin/hadoop-daemon.sh start namenode
DataNode | 数据存储节点 |sbin/hadoop-daemon.sh start datanode
Yarn|sbin/start-yarn.sh
ResourceManager|全局的资源管理器|sbin/yarn-daemon.sh start resourcemanager
NodeManager|分节点资源和任务管理器|

hadoop能做什么？

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）

搭建HadoopHA高可用集群

1普通集群配置文件

  1. hdfs-site.xml

    <configuration>
  <!--  <property>
            <name>dfs.replication</name>
    <value>1</value>
  </property>-->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop-3:50090</value>
  </property>
</configuration>

  2. core-site.xml

    <configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-1:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>
</configuration>

  3. slaves

    hadoop-1
hadoop-2
hadoop-3

  4. yarn-site.xml

    <configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-2</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>
</configuration>

  5. mapred-site.xml

    <configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-1:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-1:19888</value>
  </property>
</configuration>

2 高可用集群配置

  1. hdfs-site.xml

    <configuration>
  <property>
    <!-- 为namenode集群定义一个services name -->
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>
  <property>
    <!-- nameservice 包含哪些namenode，为各个namenode起名 -->
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <!--  名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 -->
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>hadoop-1:8020</value>
  </property>
  <property>
    <!-- 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯  -->
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>hadoop-2:8020</value>
  </property>
  <property>
    <!--名为nn1的namenode 的http地址和端口号，web客户端 -->
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>hadoop-1:50070</value>
  </property>
  <property>
    <!--名为nn2的namenode 的http地址和端口号，web客户端 -->
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>hadoop-2:50070</value>
  </property>
  <property>
    <!--  namenode间用于共享编辑日志的journal节点列表 -->
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop-1:8485;hadoop-2:8485;hadoop-3:8485/ns1</value>
  </property>
  <property>
    <!--  journalnode 上用于存放edits日志的目录 -->
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/data/tmp/dfs/jn</value>
  </property>
  <property>
    <!--  客户端连接可用状态的NameNode所用的代理类 -->
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <!--   -->
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <property>
    <!-- 配置故障自动转移 -->
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication.max</name>
    <value>32767</value>
  </property>
</configuration>

  2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop-1:2181,hadoop-2:2181,hadoop-3:2181</value>
  </property>
</configuration>

  1. slaves

    hadoop-1
hadoop-2
hadoop-3

  2. yarn-site.xml

    <configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>
  <property>
    <!--  启用resourcemanager的ha功能 -->
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <!--  为resourcemanage ha 集群起个id -->
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarn-cluster</value>
  </property>
  <property>
    <!--  指定resourcemanger ha 有哪些节点名 -->
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm12,rm13</value>
  </property>
  <property>
    <!--  指定第一个节点的所在机器 -->
    <name>yarn.resourcemanager.hostname.rm12</name>
    <value>hadoop-2</value>
  </property>
  <property>
    <!--  指定第二个节点所在机器 -->
    <name>yarn.resourcemanager.hostname.rm13</name>
    <value>hadoop-3</value>
  </property>
  <property>
    <!--  指定resourcemanger ha 所用的zookeeper 节点 -->
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop-1:2181,hadoop-2:2181,hadoop-3:2181</value>
  </property>
  <property>
    <!--  -->
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <property>
    <!--  -->
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
</configuration>

  3. mapred-site.xml

    <configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-1:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-1:19888</value>
  </property>
</configuration>

整理和记录搭建hadoop HA高可用集群用到的命令

1、上传文件到文件服务器

#创建文件目录
[root@hadoop-1 hadoop]$ bin/hdfs dfs -mkdir /input

#上传文件
[root@hadoop-1 hadoop]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

#运行程序
[root@hadoop-1 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

#查看HDFS根目录
[root@hadoop-1 hadoop]$ hadoop fs -ls /   或  bin/hdfs fs -ls /

#在根目录创建一个目录test
[root@hadoop-1 hadoop]$ hadoop fs -mkdir /test   或  bin/hdfs fs -mkdir /test

2、查看文件服务器指定目录下是否上传过文件

[root@hadoop-1 hadoop]$ bin/hdfs dfs -ls /input

如图：在这里插入图片描述

3、namenode服务格式化的方式

  1. 直接格式化

    [root@hadoop-1 hadoop]$ bin/hdfs namenode -format

  2. 集群节点格式化—将所有的node（包含namenode、datanode、journalnode的clusterId保持一致）

    [root@hadoop-1 hadoop]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

  3. 以standby的状态启动namenode,该状态下namenode不处理请求`

    [root@hadoop-1 hadoop]$ bin/hdfs namenode -bootstrapStandby

4、查看namenode是否在使用中或Active状态

[root@hadoop-1 hadoop]# hdfs dfsadmin -report

5、查看服务是否启动

  1. 使用jps查看是否有namenode

  2. 没有就使用

    [root@hadoop-1 hadoop]$ sbin/hadoop-daemon.sh start namenode

  3. 或者使用启动namenode

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/start-dfs.sh

  4. 如果启动失败，有可能是namenode格式化多次导致的，需要先清理core-site.xml下配置的hadoop.tmp.dir路径下生成的data、name、jn（journalnode）文件

      <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>

    再使用方法3-2的方式再次启动

  5. 如果还是失败，需要查看报错日志

[root@hadoop-1 hadoop]cd logs
[root@hadoop-1 logs]tail -fn 300  hadoop-root-namenode-hadoop-1.log

再根据报错日志百度找到问题所在

6、datanode启动失败

  1. 查看DataNode是否启动输入命令jps

  2. 如果发现没有datanode，执行以下

    [root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start datanode

  3. 发现执行后依然没有启动成功，查看core-site.xml是否配置datanode的环境路径

      <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>

  4. 如果配置了没有生效，（没有就配置，重启服务5-3的命令即可），就进入到该路径下查看是否生成了current文件

    [root@hadoop-1 hadoop]# cd /opt/data/tmp/dfs/data/current/

    如果出来了VERSION文件，即启动过，查看namenode的VERSION和datanode的版本是否一致
    在这里插入图片描述
    没有的话，就将datanode的版本号改成namnode一致的，如果还是失败，可能是元数据需要的空间过多，需要删除一些日志文件来保证datanode正常运行。如share/doc和logs/hadoop-root*

    #删除hadoop的功能文档文件
[root@hadoop-1 hadoop]# cd share/doc
[root@hadoop-1 doc]# rm -rf *

#删除hadoop的日志文件
[root@hadoop-1 hadoop]# cd logs/
[root@hadoop-1 doc]# rm -rf hadoop-root*

  5. 再次启动datanode

    [root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start datanode

    到了这一步大部分人可能datanode重启成功了，不过还可能有部分人因为配置文件的原因导致启动失败，这里建议将配置文件重新过一下这位大神的配置文件写的非常详细非常适合刚开始学习搭建hadoop集群的开发人员 https://blog.csdn.net/hliq5399/article/details/78193113/

6、查看linux服务器之间是否可以相互访问

  1. 使用ping来查看是否可以相互访问Ip

    [root@hadoop-1 hadoop]ping hadoop-2

在这里插入图片描述

  1. 由于大部分配置都是通过服务器IP别名来配置的,因此需要在DNS域名服务上配置域名转换，确保自己的hostname已经更改，未更改以下操作无效，https://blog.csdn.net/qq_22310551/article/details/84966044 该大神较全面的讲解了hostname的配置，已经配置解析
    	[root@hadoop-1 hadoop]# cat /etc/hosts
	#127.0.0.1   localhost 
	#::1         localhost 
	#192.168.149.110  hadoop-1
	#127.0.0.1   localhost
	192.168.149.110 hadoop-1
	192.168.149.120 hadoop-2
	192.168.149.130 hadoop-3

代码如下（示例）：
1、配置虚拟机hostname;

vi /etc/sysconfig/network
#设置成这样
NETWORKING=yes
HOSTNAME=hadoop-1

#关闭--查看更改效果
more /etc/sysconfig/network
hostname
more /proc/sys/kernel/hostname

#然后重启虚拟机，永久改变
reboot

#切记/etc/hosts 和hostname没有任何关系 仅仅是一个dns 域名转换器

2、配置window的域名，可以直接通过域名访问linux对应IP服务器

C:\Windows\System32\drivers\etc

#打开hosts 添加配置如
192.168.149.110 hadoop-1
192.168.149.120 hadoop-2
192.168.149.130 hadoop-3

以后可以直接用hadoop-1代替192.168.149.110来访问了。

快速配置 scp -r /opt/data/tmp/dfs/jn/ hadoop-2:/opt/data/tmp/dfs/

该处使用的url网络请求的数据。

  1. 查看服务是否启动----一般来讲8020端口是namenode启动后的端口，访问不了说明namenode无法被使用，8485是journalnode启动后的端口

    #查看端口是否启动
[root@hadoop-1 hadoop]# netstat -tpnl

在这里插入图片描述

  1. 其中IP为0.0.0.0的端口的说明该服务可以支持多种方式远程访问：
    如0.0.0.0:80 可以使用127.0.0.1:80 或 服务IP:80 或 DNS域名转换:80

    #域名转换
[root@hadoop-1 hadoop]# curl hadoop-1:80

    或在节点hadoop-2上访问hadoop-1端口

    [root@hadoop-2 hadoop]# curl hadoop-1:80

    IP为127.0.0.1的说明只能在本地访问，如在hadoop-2节点上无法通过curl 127.0.0.1 6010访问到hadoop-1的服务。
    IP为192.168.149.110说明其它服务器可以远程访问该端口

  2. 使用telnet来检测自己是否可以访问自己已启动的服务如

    	[root@hadoop-1 hadoop]# telnet hadoop-1 8020
		Trying 192.168.149.110...
		Connected to hadoop-1.
		Escape character is '^]'.

    发现连接成功，telnet需要自己通过百度下载

#安装
yum install telnet-server -y
yum install xinetd -y
yum install telnet
启动systemctl start telnet.socket
#加入开机启动
systemctl enable telnet.socket

  1. 如果访问不了，也有可能是你没有输入访问账号、密码什么的（前提是防火墙都关闭了）通过设置ssh的方式免密访问

     #生成密匙，需要一路回车
 [root@hadoop-1 hadoop]$ ssh-keygen -t rsa 
 #发放密钥
 [root@hadoop-1 hadoop]$ ssh-copy-id hadoop-1
 [root@hadoop-1 hadoop]$ ssh-copy-id hadoop-2
 [root@hadoop-1 hadoop]# $ ssh-copy-id hadoop-3

    这样hadoop-2、hadoop-3就可以免密访问hadoop-1的服务了

7、启动资源管理resourceManager，该服务未启动会导致hadoop无法上传文件

  1. 启动方式 一次性启动全部服务（包含resourceManager）

    [root@hadoop-1 hadoop]# sbin/start-all.sh

  2. 单个启动

#启动yarn
[root@hadoop-1 hadoop]$ sbin/start-yarn.sh
#启动resourcemanager  在指定服务器上启动
[root@hadoop-2 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
[root@hadoop-3 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

8、服务启动后网站http://hadoop-1:50070/dfshealth.html#tab-overview添加链接描述里的namenode处于standby,可以采用强制激活

#nn1是配置文件里的路径
[root@hadoop-1 hadoop]$ bin/hdfs haadmin -transitionToActive -forcemanual nn1

[root@hadoop-1 hadoop]$ vi etc/hadoop/hdfs-site.xml
<property>
    <!--名为nn1的namenode 的http地址和端口号，web客户端 -->
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>hadoop-1:50070</value>
</property>

9、任务节点journalnode的启动方式

[root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start journalnode

10、在hadoop中创建一个zNode

[root@hadoop-1 hadoop]$ bin/hdfs zkfc -formatZK

11、启动namenode、datanode、journalnode、zkfc

[root@hadoop-1 hadoop]$ sbin/start-dfs.sh

总结

提示：这篇文章只是作者开发过程中遇到的一些问题，并没有罗列太多，大部分都是namenode格式化太多导致的问题，只有愿意花费精力都很好结局

墨绳
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习使用：学习hadoop使用
04-10
因为包比较大，所以放在文档里面。分别是SDK_linux和HADOOP，文档里面的地址如果不可以使用了，请私信我。
Hadoop入门及简单使用
yellowswimming的博客
10-16 4243
hadoop安装及第一个计算pi值程序跑通.翻译过来就是hadoop贡献了一个可靠，大规模，分布式的计算**开源**软件(通常一个公司开发出产品在第一句话都要吹一下的，还都是一堆听起来很高大尚的专业术语:smile:),hadoop同时是一个允许使用简单的编程模型来处理分布式大数据集的框架，后面的你可以理解为是分布式统一的优点，这里不再详细分析，有兴趣的可以去了解一下分布式相关的技术。
【Hadoop大数据技术】——Hadoop概述与搭建环境（学习笔记）
最新发布
HinsCoder的博客
03-05 1525
随着大数据时代的到来，大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架，它既可以为海量数据提供可靠的存储；也可以为海量数据提供高效的处理。
【Hadoop技术篇】hadoop的使用
Chad_it的博客
10-09 2969
hadoop启动和体验
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3344
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Hadoop基本操作
m0_73971893的博客
03-05 2612
Hadoop基本操作方法
Hadoop实战教程
m0_75198698的博客
05-10 1147
HDFS是Hadoop分布式文件系统的缩写，是Hadoop用来存储数据的主要组件。其中，`/path/to/wordcount.jar`为打包好的jar包的路径，`WordCount`为MapReduce作业的类名，`/path/to。在每个节点上，修改Hadoop的配置文件core-site.xml，设置Hadoop的默认文件系统为HDFS，并指定NameNode的地址。在Hadoop的官网（https://hadoop.apache.org/）上下载最新版本的Hadoop，并解压到合适的目录。
Hadoop大数据开发基础系列：三、Hadoop基础操作
Nelson_hehe的博客
10-05 3457
第三章、Hadoop基础操作 目录结构： 1.查看Hadoop集群的基本信息 1.1查询集群的存储系统信息 1.2查询系统的计算资源信息 2.上传文件到HDFS目录 2.1了解HDFS文件系统 2.2掌握HDFS的基本操作 2.3任务实现 3.运行首个MapReduce任务 3.1了解Hadoop官方的示例程序包 ...
HADOOP学习
10-28
1、 hadoop官方网站，首页会有最新动态。 2、 Nutch ->谷歌GFS论文->doug 根据GFS设计了NDFS、06年启动hadoop项目。 3、 环境支持 操作系统 Linux 、WINDOWS-Cygwin、hadoop-for-windows JDK支持 下载jdk，解压jdk...
Hadoop学习笔记
03-02
开始学习Hadoop，首先搭建了一下开发环境，最开始是在单独编写Map-Reduce程序，然后在命令行编译，再通过hadoop命令运行打好的jar包，虽然也能够运行，但是总感觉这样用起来很麻烦，所以今晚又尝试了直接通过eclipse...
Hadoop学习资料
12-28
Hadoop学习资料总结，值得推荐阅读学习 很好 非常好 值得拥有
Hadoop是什么，能干什么，怎么使用
专注于后端开发，时常接触大数据 、人工智能等
09-29 5万+
本文档实现目标 希望用比较容易理解的语言解释Hadoop是个什么样的工具，回答Hadoop是什么，能干什么，怎么使用三个问题，尽量不涉及技术细节。 1、Hadoop是什么 1.1、小故事版本的解释 小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，小明感觉很轻松...
Hadoop的基础操作
qq_44715376的博客
05-25 2993
HDFS是hadoop的分布式文件系统，它的设计目标是能够在普通硬件上运行，并且能够处理大量的数据。 HDFS采用了主从架构，其中有一个NameNode和多个DataNode。 NameNode负责管理文件系统的命名空间和客户端的访问，而DataNode则负责存储实际的数据块。 HDFS的基本操作包括文件的上传、下载、删除、重命名等。
大数据之 Hadoop 教程
种麦南山下的博客
10-09 2452
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
hadoop安装及简单的使用
faramita_of_mine的博客
03-03 5187
hadoop安装及简单的使用一、hadoop运行环境搭建二、hadoop 目录结构三、hadoop 本地模式四、hadoop 伪分布式模式五、伪分布式 YARN 运行六、伪分布式启动历史服务器七、伪分布式配置日志的聚集八、hadoop 集群模式 一、hadoop运行环境搭建 1.环境准备 安装 hadoop 需要使用 Linux 系统，同时需要熟练使用 Linux 章节的全部命令，如果没有 Linux 基础建议先学习 Linux 基础。 相关工具下载地址： 2.安装 centos7 虚拟机并配置远程访问和静
大数据学习1 - hadoop环境搭建及操作
weixin_52491597的博客
11-30 3038
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。[19]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
Hadoop教程(一) Hadoop入门教程
热门推荐
yuan_xw的专栏
11-23 9万+
Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：HDFS和MapReduce，HDFS实现存储，而MapReduce实现原理分析处理，这两部分是hadoop的 核心。数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得到结果，它是一个高性能处理海量数据集的工具 。
Hadoop 3.2.2 安装与使用文档超详细图文步骤
蜗牛的博客
08-23 4936
1、简介 1.1、概述 Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 1.2、官网 Hadoop 官网 2、准备工作 2.1、安装 JDK 8 Centos 7 安装 JDK8 2.2、下载 Hadoop ...
大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
匠人精神，持之以恒！
12-14 4753
文章目录一、概述HDFS的设计特点二、HDFS组成1）Client2）NameNode（NN）3）DataNode（DN）4）Secondary NameNode（2NN）三、HDFS具体工作原理1）两个核心的数据结构: Fslmage和EditLog2）工作流程3）HDFS读文件流程4）HDFS文件写入流程四、安装Hadoop（HDFS+Yarn）1）环境准备2）下载最新的Hadoop安装包3）进行服务器及Hadoop的初始化配置五、helm3安装HDFS1）前期准备2）创建命名空间&拉包3）创建
hadoop改进方法
09-09
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。以下是一些改进Hadoop性能和效率的方法： 1. 数据压缩：使用适当的数据压缩算法，如Snappy或Gzip，可以减少数据在磁盘上的存储空间，提高Hadoop的存储效率和吞吐量。 2. 数据本地化：将计算任务调度到存储有相关数据块的节点上，可以避免数据网络传输，减少网络开销和运行时间。 3. 资源调优：通过调整Hadoop集群的资源分配，如内存分配、任务槽数量和数据块大小等参数，可以优化集群的性能和吞吐量。 4. 数据分区：将数据划分为更小的分区，可以提高并行度和任务执行效率。使用适当的分区策略，如哈希分区或范围分区，可以确保分区均匀且负载平衡。 5. 数据压缩与序列化：在数据传输过程中使用压缩和序列化技术，如Avro、Parquet或ORC格式，可以减少网络带宽和存储开销。 6. 任务调度优化：使用适当的调度策略，如容量调度器或公平调度器，可以根据任务的优先级和资源需求，合理分配集群资源，提高作业的执行效率。 7. 数据局部性优化：通过使用Hadoop的缓存机制，如HDFS缓存或MapReduce任务级别的本地缓存，可以提高数据的读取速度和计算效率。 8. 多任务并行处理：将多个相关的任务组合在一起，并行处理可以减少整体任务的执行时间，提高集群的利用率。 这些方法是改进Hadoop性能和效率的一些常见措施，具体的改进方案需要根据实际使用情况和需求进行评估和实施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值