hadoop
文章平均质量分 82
二峰✔
八千里路云和月。莫等闲
展开
-
HDFS的可靠性
前言相信大家对Hadoop不是很陌生了。Hadoop是由java语言所编写,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce。我们这块主要来讲讲HDFS的可靠性:机架策略冗余副本策略安全模式心跳机制校验和回收站元数据保护快照机制一、机架策略HDFS 的"机架感知",通过节点之间发送一个数据包,来感应它们是否在同一个机架一般在本机架放一个副本,在其他机架再存放一个副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率二原创 2021-09-01 11:01:55 · 1227 阅读 · 0 评论 -
搭建hive平台
文章目录前言一、前期准备二、使用步骤1.上传hive的压缩包到服务器中2.配置环境变量3.配置hive-site.xml总结前言第一次搭建hive平台,记录一下,避免以后再搭建的时候踩坑,给一个地址去下载hive点击此处即可进入下载页面一、前期准备请首先搭建好hadoop平台!!顺便再准备一个mysql数据库二、使用步骤1.上传hive的压缩包到服务器中这里我是用xftp工具上传的,上传之后解压一下,并重命名tar -zvxf xxxx.tar.gzmv xxxx hive..原创 2021-07-22 19:44:56 · 510 阅读 · 0 评论 -
搭建hadoop时的免密钥配置
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、云服务器二、免密钥配置1.生成密钥2.将 本机公钥加到 受信列表中3.修改权限4.测试一下以上设定的本机免密登录是否OK5.分发公钥总结前言这几天在玩hadoop,在虚拟机上玩分布式感觉不过瘾,于是我怂恿了几个小伙伴买了几个云服务器(都是免费的哈哈),下面这篇文章讲一下免密钥配置,(主要是那个命令太长了,真心不想记,所以放在这里,以后等用的时候CV一下,诶,美滋滋)一、云服务器首先记得要有自己的服务器,没有的原创 2021-05-31 17:27:52 · 719 阅读 · 0 评论