Hadoop
文章平均质量分 92
魏忠贵
这个作者很懒,什么都没留下…
展开
-
一:Centos多机共享及其它准备(为了Hadoop HA部署)
为了在阿里云服务器上部署Hadoop HA,在部署之前,需要了解前期的HA架构和阿里云服务器,在熟悉了这些前提下,开始一步进行实操。在实操中熟悉各类架构后,在对各类架构的作用,启动和关闭顺序做*更进一步说明: 目录结构: 1:阿里云主机购买 2:远程XSHELL登陆 3:hadoop用户创建及文件上传 4:hosts文件和多台ssh互相信任 5:java运行程序...原创 2018-11-27 17:40:47 · 235 阅读 · 2 评论 -
二:zeekeeper+hadoop HA配置及启动停止
内容:在前面准备工作(多机共享+文件已经上传+JDK已安装)情况下,我们将关注zeekeeper配置启动,hadoop配置启动,并观察各项具体配置和启动流程和相应的进程顺序,同时关闭相关HA,查看其关闭流程。 目录结构: zookeeper配置 hadoop配置 zookeeper启动 hadoop配置 整体启动流程 整体关闭流程 1:解压文件和配置环境 tar -xzvf hadoo...原创 2018-11-28 16:30:02 · 622 阅读 · 2 评论 -
三:hadoop HA YEAR架构总结及各组件功能(原理总结)
内容:在前面搭建和熟悉各组件启动流程下,今天总结下hadoop的HA YEAR架构,同时看看各组件的功能,理清启动顺序,并进行相关组件对比。 * 目录结构: 前期搭建规划 hadoop HA 架构及功能 hadoop YEAR架构及功能 启动/关闭流程总结 两架构对比及其它 1、前期搭建规划 2、hadoop HA 架构及功能 HDFS HA: 是为了解决单点故障问题,通过JN集群共享状态...原创 2018-11-29 11:09:14 · 1372 阅读 · 0 评论 -
四:压缩相关
*在Hadoop下使用Snappy,实操整个开启过程,并查看各压缩模式是否正常,同时验证总结各压缩模式的压缩比是怎么样的; 目录 1 非源码编译下压缩模式情况: 2 添加压缩方式: 3 各种压缩模式对比: 4压缩模式对比 5如何选择压缩模式: 1.非源码编译下hadoop下压缩模式: cd /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin hadoop ch...原创 2019-02-07 20:55:52 · 173 阅读 · 0 评论