![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
hadoop的搭建
明朝即长路
这个作者很懒,什么都没留下…
展开
-
hadoop数据迁移
hadoop数据迁移数据迁移使用场景:冷热集群数据分类存储集群数据搬迁,当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等.数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数据准实时同步的目的在于数据的双备份可用,比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直原创 2020-11-25 17:03:12 · 409 阅读 · 0 评论 -
hadoop中的参数及指令介绍
1. 参数问题(core-site.xml)io.file.buffer.size#用来设置缓存的大小。不论是对硬盘或者是网络操作来讲,较大的缓存都可以提供更高的数据传输,但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数,以byte为单位,默认值是4KB,一般情况下,可以设置为64KB(65536byte)在core-site.xml添加如下配置<property> <name>io.file.buffer.size</name>原创 2020-11-25 17:02:46 · 687 阅读 · 1 评论 -
hadoopHA集群(namenode多节点)初始化方式
hadoop多节点的两种初始化方式第一种 编码的方式// 多节点的hdfs初始化 Configuration conf=new Configuration();// 这里要与配置文件中的内容相同 conf.set("fs.defaultFS", "hdfs://mycluster"); conf.set("dfs.nameservices","mycluster"); conf.set("dfs.ha.namenodes.mycluster", "nn1,nn2");原创 2020-11-16 10:57:27 · 1397 阅读 · 0 评论 -
hadoop中各个节点的作用
typora-copy-images-to: imghadoop中各个节点的作用一 :namenode:管理文件系统的命名空间,他维护着文件系统树及整棵树上所有的文件和目录,这些信息以两个文件形式永久的保存在本地磁盘上,命名空间镜像文件(fsimage)和(Editlogs) fsimage:namenode启动时,对整个文件系统的快照 editlogs:namenode启动以后,对文件系统的改动序列namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数,用户对hd.原创 2020-11-12 09:40:40 · 4942 阅读 · 0 评论 -
hadoop3.2.1高可用集群搭建(一看就会,不会你打我)
hadoop3.2.1高可用集群搭建准备工作# 确保所有安装hadoop的服务器之间能够ping通,安装好jdk1.8环境,以及各个服务器之间的免密登录# ssh的免密登录可以参考hadoop3.2.1单节点集群的搭建,这里不再多做赘述本次高可用集群搭建采用了三台服务器,关系如下表主机名称namenodedatanodeJournalnodezookeeperhadoop1√√√hadoop2√√√√hadoop3√√# 以上只原创 2020-10-27 18:32:38 · 714 阅读 · 0 评论 -
Hadoop3.2.1集群搭建(看完就会的那种)
Hadoop3.2.1单节点集群搭建本次集群搭建使用了三台服务器,一个主节点,两个从节点准备工作确保三台服务器之间互相能ping通,安装好JDK环境(JDK1.8)一: 设置主机名称hostnamectl set-hostname 主机名#主节点的主机名设置为hadoop1,两个从节点的主机名设置为hadoop2以及hadoop3# eg:hostnamectl set-hostname hadoop1二: 修改hosts文件添加ip映射关系# 使用如下命令修改hosts文件vim原创 2020-10-27 18:27:20 · 460 阅读 · 0 评论