——集群搭建
文章平均质量分 92
install bigdate
脸ル粉嘟嘟
BigDate.我命由我!
展开
-
5台机器搭建HA步骤与注意事项
HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。原创 2019-01-15 19:18:40 · 2558 阅读 · 4 评论 -
使用CentOS6.8搭建Hadoop集群
概述:集群cluster,能将很多进程分布到多台计算机上;通过联合使用多台计算机的存储、计算资源完成更庞大的任务。为了实现无限量的存储和计算能力,在生产环境中必须使用集群来满足需求。注意事项:1)集群中的计算机在时间上要同步,系统时间不能差太多(约30秒内),如果设置时间后重启时间又不准确了(可能是主板电池老化),可以启用NTP(Network Time Protocol网络时间...原创 2018-09-29 09:23:28 · 2314 阅读 · 0 评论 -
Hadoop集群单机伪分布搭建
1.前提准备关闭防火墙:1. 永久性生效(这里需要重启机器才能生效 reboot)开启:chkconfig iptables on关闭:chkconfig iptables off(推荐)2. 即时生效,重启后失效开启:service iptables start关闭:service iptables stop3.查看状态service iptables statusJava...原创 2019-01-21 12:11:28 · 193 阅读 · 0 评论 -
zookeeper完全分布式安装
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。原创 2019-01-15 18:38:46 · 265 阅读 · 0 评论 -
CDH5 Hadoop集群完全离线安装步骤总结
https://www.zybuluo.com/sasaki/note/242142版本控制 @Title CDH5 Hadoop集群完全离线安装步骤总结@Version v1.0@Timestamp 2015-12-14 14:25@Author Nicholas@Mail redskirt@outlook.com 1. 硬件准备一个4节点的集群,Host对应关...转载 2018-10-27 21:24:30 · 436 阅读 · 0 评论 -
MapReduce集群搭建
概述MapReduce运行在Hadoop集群上。但MapReduce是通过另外一批进程来运行的。HDFS的进程名是NameNode、SecondaryNameNode和DataNode;而MapReduce的进程名(可以通过JPS命令查看)是:ResourceManager:数据计算资源的总体管理者,地位相当于NameNode。NodeManager:执行计算的节点,地位相当于Data...原创 2018-10-09 22:04:59 · 838 阅读 · 0 评论 -
单机伪分布集群搭建
单机伪分布:用一个节点模拟集群好处:方便测试,开发,占用资源小搭建方法:第一步:修改slaves文件,将master(主机名)写入文件中。第二步:修改hdfs-site.xml文件,将文件的副本数改成1(副本数小于等于节点数)。<property> <name>replication</name> <value...原创 2018-10-08 21:27:46 · 265 阅读 · 0 评论