大数据
阁下大名
这个作者很懒,什么都没留下…
展开
-
elasticsearch数据库搭建 linux版
介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作: 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器,处理P...原创 2020-01-07 13:45:29 · 589 阅读 · 0 评论 -
hadoop
1)hadoop介绍 Hadoop是一个生态圈,由Apache基金会提供,是一个分布式处理系统,可以解决海量数据存储和计算分析问题 2)Hadoop优势 1)高可靠性:数据非常重要,数据在存储或者计算过程中出现问题之后可以还原再次处理。 2)高扩展性:节点的上线或者下线不影响集群的正常使用 3)高效性:处理数据的速度很快 4)高容错性:数据存到Hadoop中后有备份,多个节点发生故障容...原创 2019-04-01 21:14:13 · 504 阅读 · 0 评论 -
分布式系统搭建
一、特点 多个节点一起运行。 二、分析 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)配置集群 8)启动测试集群 三、虚拟机准备 克隆三个虚拟机,修改IP,主机名和IP映射即可 四、scp命令 说明:scp可以实现服务器与服务器之间的数据拷贝。 实操: 将zhiyo...原创 2019-04-02 21:02:28 · 2567 阅读 · 0 评论 -
zookeeper理论篇
1.Zookeeper概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Mas...原创 2019-04-09 21:05:36 · 201 阅读 · 0 评论 -
zookeeper安装配置
下载地址:http://zookeeper.apache.org/ 安装前准备 (1)安装JDK (2)拷贝zookeeper到linux下 分布式安装部署 1.集群规划 在test221,test222,test223上部署zookeeper 2.解压安装 1)解压 tar -axvf zookeeper-3.4.10.tar.gz 2)创建data/zkDat...原创 2019-04-09 21:33:05 · 194 阅读 · 0 评论 -
zookeeper常用命令
启动zookeeper [root@test221 bin]# ./zkServer.sh start 查看进程是否启动 [root@test221 bin]# jps 2176 Jps 2159 QuorumPeerMain 查看状态 [root@test221 bin]# ./zkServer.sh status ZooKeeper JMX enabled by default U...原创 2019-04-09 21:37:13 · 165 阅读 · 0 评论 -
Hadoop高可用配置
一、何为高可用 1.HA存在的背景 Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,若NameNode出现故障,则整个集群将无法使用,直到NameNode重启。 NameNode主要在以下两个方面影响集群 NameNode机器出现意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件,硬件...原创 2019-04-09 21:59:35 · 1136 阅读 · 0 评论