Hadoop
文章平均质量分 92
魏忠贵
这个作者很懒,什么都没留下…
展开
-
一:Centos多机共享及其它准备(为了Hadoop HA部署)
为了在阿里云服务器上部署Hadoop HA,在部署之前,需要了解前期的HA架构和阿里云服务器,在熟悉了这些前提下,开始一步进行实操。在实操中熟悉各类架构后,在对各类架构的作用,启动和关闭顺序做*更进一步说明: 目录结构:1:阿里云主机购买2:远程XSHELL登陆3:hadoop用户创建及文件上传4:hosts文件和多台ssh互相信任5:java运行程序...原创 2018-11-27 17:40:47 · 211 阅读 · 2 评论 -
二:zeekeeper+hadoop HA配置及启动停止
内容:在前面准备工作(多机共享+文件已经上传+JDK已安装)情况下,我们将关注zeekeeper配置启动,hadoop配置启动,并观察各项具体配置和启动流程和相应的进程顺序,同时关闭相关HA,查看其关闭流程。目录结构:zookeeper配置hadoop配置zookeeper启动hadoop配置整体启动流程整体关闭流程1:解压文件和配置环境tar -xzvf hadoo...原创 2018-11-28 16:30:02 · 615 阅读 · 2 评论 -
三:hadoop HA YEAR架构总结及各组件功能(原理总结)
内容:在前面搭建和熟悉各组件启动流程下,今天总结下hadoop的HA YEAR架构,同时看看各组件的功能,理清启动顺序,并进行相关组件对比。*目录结构:前期搭建规划hadoop HA 架构及功能hadoop YEAR架构及功能启动/关闭流程总结两架构对比及其它1、前期搭建规划2、hadoop HA 架构及功能HDFS HA: 是为了解决单点故障问题,通过JN集群共享状态...原创 2018-11-29 11:09:14 · 1361 阅读 · 0 评论 -
四:压缩相关
*在Hadoop下使用Snappy,实操整个开启过程,并查看各压缩模式是否正常,同时验证总结各压缩模式的压缩比是怎么样的;目录1 非源码编译下压缩模式情况:2 添加压缩方式:3 各种压缩模式对比:4压缩模式对比5如何选择压缩模式:1.非源码编译下hadoop下压缩模式:cd /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/binhadoop ch...原创 2019-02-07 20:55:52 · 167 阅读 · 0 评论