大数据
阁下大名
这个作者很懒,什么都没留下…
展开
-
elasticsearch数据库搭建 linux版
介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作:分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器,处理P...原创 2020-01-07 13:45:29 · 592 阅读 · 0 评论 -
hadoop
1)hadoop介绍Hadoop是一个生态圈,由Apache基金会提供,是一个分布式处理系统,可以解决海量数据存储和计算分析问题2)Hadoop优势1)高可靠性:数据非常重要,数据在存储或者计算过程中出现问题之后可以还原再次处理。2)高扩展性:节点的上线或者下线不影响集群的正常使用3)高效性:处理数据的速度很快4)高容错性:数据存到Hadoop中后有备份,多个节点发生故障容...原创 2019-04-01 21:14:13 · 517 阅读 · 0 评论 -
分布式系统搭建
一、特点多个节点一起运行。二、分析1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装jdk3)配置环境变量4)安装hadoop5)配置环境变量6)安装ssh7)配置集群8)启动测试集群三、虚拟机准备克隆三个虚拟机,修改IP,主机名和IP映射即可四、scp命令说明:scp可以实现服务器与服务器之间的数据拷贝。实操:将zhiyo...原创 2019-04-02 21:02:28 · 2575 阅读 · 0 评论 -
zookeeper理论篇
1.Zookeeper概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Mas...原创 2019-04-09 21:05:36 · 204 阅读 · 0 评论 -
zookeeper安装配置
下载地址:http://zookeeper.apache.org/安装前准备(1)安装JDK(2)拷贝zookeeper到linux下分布式安装部署1.集群规划在test221,test222,test223上部署zookeeper2.解压安装1)解压 tar -axvf zookeeper-3.4.10.tar.gz2)创建data/zkDat...原创 2019-04-09 21:33:05 · 198 阅读 · 0 评论 -
zookeeper常用命令
启动zookeeper[root@test221 bin]# ./zkServer.sh start查看进程是否启动[root@test221 bin]# jps2176 Jps2159 QuorumPeerMain查看状态[root@test221 bin]# ./zkServer.sh statusZooKeeper JMX enabled by defaultU...原创 2019-04-09 21:37:13 · 167 阅读 · 0 评论 -
Hadoop高可用配置
一、何为高可用1.HA存在的背景Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,若NameNode出现故障,则整个集群将无法使用,直到NameNode重启。NameNode主要在以下两个方面影响集群NameNode机器出现意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要升级,包括软件,硬件...原创 2019-04-09 21:59:35 · 1142 阅读 · 0 评论