2018年03月_小萌猿

原创 ElasticSearch版本控制

• 普通关系型数据库使用的是（悲观并发控制（PCC））当我们在读取一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据 • ES使用的是（乐观并发控制（OCC）） ES不会阻止某一数据的访问，然而，如果基础数据在我们读取和写入的间隔中发生了变化，更新就会失败，这时候就由程序来决定如何处理这个冲突。它可以重新读取新数据来进行更新，又或者将这一情...

2018-03-31 22:36:48 4026

原创 Impala核心组件与架构

核心组件 • Statestore Daemon – 负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况，同步节点信息. – 负责query的调度• Catalog Daemon – 分发表的元数据信息到各个impalad中 – 接收来自statestore的所有请求• Impala Daemon（最核心） – 接收client、hue、jdbc或者odb...

2018-03-23 17:50:16 2877

转载 KeepAlived与Zookeeper

keepalived VS zookeeper两者都可以做高可用HA，那么有什么区别呢？1.从主被动的角度考虑    我们知道，nginx server通常和keepalived进行结合，那么keepalived是怎么知道nginx是否存活呢?是nginx主动向keepalived汇报信息？不是的。k...

2018-03-22 22:05:35 2405

1、单节点的leader机制，用来保证消息处理的顺序性（在leader里通过一个队列来实现） 2、有时候，直接关机，没有停掉zookeeper，下次通过zkServer.sh 开启时，会显示开启成功，但是查看状态时却发现没有运行，这时候，可以直接删除掉我们安装Zookeeper时配置的data dir那个目录，再重启Zookeeper就会好了。但是有一个问题，删掉data dir 的那台机器...

2018-03-21 16:44:09 2506

原创 MapReduce处理HBase出错：XXX.jar is not a valid DFS filename

原因：Hadoop文件系统没有检查路径时没有区分是本地windows系统还是Hadoop集群文件系统解决：只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false（默认为true）...

2018-03-16 18:00:46 7593

原创 HBase体系架构

Client • 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper • 保证任何时候，集群中只有一个master • 存贮所有Region的寻址入口。 • 实时监控Region server的上线和下线信息。并实时通知Master • 存储HBase的schema和table元数据 Master • 为Region server分配regio...

2018-03-13 11:57:13 2291

原创 HBase数据模型

HBase简介 – HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 – 主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）数据模型：在使...

2018-03-13 11:17:05 2965

原创 hive使用过程报的几个错

Hwi出错：org.apache.jasper.JasperException: Unable to compile class for JSP 解决：将java安装路径lib下的tools.jar添加到hive的lib中即可调用python脚本出错：An error occurred when trying to close the Operator running your custom...

2018-03-08 10:39:38 2639

原创 Hive数据的数据存储

Hive建表后，表的元数据存储在关系型数据库中（如：mysql），表的数据（内容）存储在hdfs中，这些数据是以文本的形式存储在hdfs中（关系型数据库是以二进制形式存储的），既然是存储在hdfs上，那么这些数据本身也是有元数据的（在NameNode中），而数据在DataNode中。这里注意两个元数据的不同。如下图，建表并导入数据：之后在mysql中会发现：有一个hive_...

2018-03-07 10:19:23 11956 1

原创 hive启动出错：Found class jline.Terminal, but interface was expected

启动hive时报错，如下图：原因：hadoop与hive的jline包版本不一致造成解决：在hadoop安装路径下的share/hadoop/yarn/lib找到jline-xxx.jar 在hive路径下的lib里也找到jline-xxx.jar，会发现这两个包版本不一致，将其同步即可，用新版本的替换老版本（反之也行）...

2018-03-04 22:12:16 3570

原创 Hadoop运行错误：org.apache.hadoop.yarn.exceptions.YarnException

打包MapReduce程序为jar包后在Hadoop集群执行时出错：原因：集群时间不一致造成的解决：同步集群时间即可同步步骤：思路：比如集群有三台机器：node1,node2,node3,将node1作为时间服务器，其它两台与node1同步即可。一、设置时间服务器：（node1中执行） 1、vi /etc/ntp.conf 注释掉restrict default kod...

2018-03-03 11:24:39 24073 1

小萌猿的博客