![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 86
hadoop应用级专题
snail_bing
这个作者很懒,什么都没留下…
展开
-
hdfs集群间kerberos互信配置
1.修改hdfs配置在两个集群的hdfs-site.xml中添加以下内容:<property> <name>dfs.namenode.rpc-bind-host</name> <value>0.0.0.0</value> <description></description></property><property> <name>dfs.namenode.servic原创 2021-09-13 11:54:43 · 2391 阅读 · 0 评论 -
Hadoop数据迁移工具DistCp
DistCp 介绍DistCp( distributed copy )是用于大型内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。Distcp用法基本用法集群间复制# nn1是源集群,nn2是目标集群hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo这会将nn1 上的/foo/ba原创 2021-07-13 14:18:26 · 1955 阅读 · 0 评论 -
hadoop高可靠集群搭建
HA hadoop集群完美搭建此博文可以堪称史上最全、宇宙最详细的HA hadoop集群搭建攻略,是本人呕心制作,亲自搭建完成后的全过程笔录。在看下面内容之前,希望你先去看一下这几篇博文,熟悉整个hadoop集群环境搭建流程:linux系统jdk安装教程。zookeeper集群搭建教程。hadoop伪分布式集群环境搭建教程。ok,看完这几篇博文之后相信你已经了解并熟悉了ha...原创 2018-08-17 13:09:13 · 746 阅读 · 0 评论 -
hadoop集群搭建
hadoop环境搭建搭建步骤:1、首先开启虚拟机,如果是第一次使用,需要配置静态ip地址,配置静态ip请看我的另一篇博文:虚拟机配置静态ip2、hadoop需要jdk的支持,我们需要先安装jdk,安装jdk步骤很简单,下载安装包,解压安装即可,然后配置好jdk的环境变量就ok。linux系统jdk安装教程。3、我们还要安装zookeeper,它是Hadoop的重要组件。它是一个为分...原创 2018-08-16 15:39:41 · 834 阅读 · 1 评论 -
hadoop简介
Hadoop介绍大数据解决四大核心问题:1、数据的存储(Big Data Storage),海量数据需要处理和分析,但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备,并且用一个路径去管理不同平台上的数据。2、数据的计算(Data Calculation),在数据有效存储的基础上,对数据的统计和分析本质上就是数据的计算...原创 2018-08-16 10:34:25 · 6675 阅读 · 1 评论