- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hbase API 整合MapReduce （将HBASE一个表按照需要把数据输出到另一个表中）
package com.czxy.com.czxy.demo05;import org.apache.hadoop.conf.Configurable;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.hbase.Ce...
2019-12-20 08:57:21
9493
原创 Hbase 解答题（理论知识面试必问）
1.Hbase 的基本介绍HBase 时建立在hdfs之上的数据库 不支持join等SQL事务等繁杂的操作 支持的数类型：byte[] 依靠横向扩展，一个表可以有上十亿行，上百万列 面向列族存储和权限控制 对于空（null）的列，并不占用存储空间，是一个稀疏表2.HBASE的使用场景 （12个字）海量数据 精确查询 快速返回3.Hbase 和hadoop之间的关系...
2019-12-17 17:46:38
11259
原创 HBase三个重要机制
HBase三个重要机制1、flush机制 hbase.regionserver.global.memstore.size： 默认;堆大小的40%regionServer的全局memstore的大小（多个CF的memstore-多个region），超过该大小会触发flush到磁盘的操 作，会阻塞客户端读写flush将所有的memstore全部flush. hbase不建议配置过多列族...
2019-12-16 22:02:50
10321
原创 Region的管理
前提：一个region只能分配给一个region server1、master记录了当前有哪些可用的region server。以及当前哪些region分配给了哪些region server，哪些region 还没有分配。2、当需要分配的新的region，并且有一个region server上有可用空间时，master就给这个region server发送一个装 载请求，把region分配...
2019-12-16 21:55:22
11026
原创 Hbase的写入和读取过程
读取过程：前提： 什么是meta表？ meta表述hbase系统自带的一个表。里面存储了hbase用户表的元信息。元信息为：meta表内记录一行数据是用户表一个region的start key 到endkey的范围。meta表存在什么地方？meta表存储在regionserver里。 具体存储在哪个regionserver里？zookeeper知道。写请求过程1...
2019-12-16 21:49:32
10715
原创 Hbase 笔记
由于csdn不支持 思维导图 所以只能发图片了 给大家带来不便若想要笔记请下载//download.csdn.net/download/qq_43791724/12029435
2019-12-12 21:25:39
12053
2
原创 Hbase Java API 的使用
1.创建一个maven项目2.导入相应的jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repo...
2019-12-12 11:15:52
12169
原创 Failed to get result within timeout, timeout=60000ms
原因是你本机上设置别名与Linux对应IP的别名不一致解决方法:我的Linux上是node01 我的本机上是 hadoop01 所有导致别名不一致 连接不上修改本机的别名：C:\Windows\System32\drivers\etc编辑host 将里面的ip与别名设置一致即可...
2019-12-12 08:33:15
15650
原创 hue配置HBase
1.修改HBase配置cd /export/servers/hbase-1.2.0-cdh5.14.0/conf/im hbase-site.xml<property> <name>hbase.thrift.support.proxyuser</name> <value>true</value></prop...
2019-12-11 09:31:49
11977
2
原创 HBase集群搭建
1.下载相应的jar包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz2.上传到Linux并解压tar zxvf hbase-1.2...
2019-12-11 08:28:23
11022
1
原创 impala 与hive有啥不同
Impala没有MapReduce进行并行计算impala吧整个查询分成一个执行计划树c++ 特性重大使用内存采用啦的方式内存放不下数据时，版本1.0.1是直接返回错误 使用自己调度 查询过程中，没有容错逻辑 适用于实时数据分析hive使用 MapReduce进行并行计算 ，一连串的MapReduce任务 采用推的方式 内存放不下所有数据，则会使用外存...
2019-12-10 19:52:48
11470
原创 impala 内部命令与外部命令
外部命令：impala-shell –h 可以帮助我们查看帮助手册impala-shell –r 刷新impala元数据impala-shell –f ``文件路径`` 执行指的的sql查询文件。impala-shell –i 指定连接运行 impalad 守护进程的主机。impala-shell –o 保存执行结果到文件当中去。内部命令connect hostn...
2019-12-10 18:05:38
11191
原创 impala 安装部署
1.下载jar包（官方）http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz2.上传解压注意：由于jar的大小比较大若没有硬盘大小,那么大建议添加一块新的大小要大于12Gtar -zxvf cdh5.14.0-centos6.tar.gz -C .3.安装n...
2019-12-10 17:58:47
12048
原创 ZooKeeper选举机制
全新集群选举假设目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下：服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。 服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服...
2019-12-09 21:33:34
11465
原创 zookeeper的java api 使用
相应的maven jar包<dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> &...
2019-12-09 17:11:35
11673
原创 zookeeper安装
1.上传并解压rztar -zxvf zookeeper-3.4.5-cdh5.14.0.tar.gz -C ../servers/下载地址：CDH版本：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gzapache版本：https://archive.apache.org/dist/zoo...
2019-12-09 08:42:52
11479
原创 hue配置MySQL页面没有效果
1.确保你的hue.ini 修改完毕2.你配的的节点启动了MySQL3.页面效果解决方案 1.进人hue.ini2.找的MySQL相关的配置属性原因是你没有吧注释去掉MySQL的去掉重启就好了...
2019-12-08 18:26:47
12398
原创 hue 配置MySQL
1.进入hue的hue.ini 进行修改cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/confvim hue.ini2.修改MySQL相关的信息大约在1548行[[[mysql]]] nice_name="My SQL DB" engine=mysql host=node-1 por...
2019-12-08 18:20:08
12043
原创 hue 搭建Hive
1.修改hue.inicd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf vim hue.ini [beeswax] hive_server_host=node-1 hive_server_port=10000 hive_conf_dir=/export/servers/hive/conf server_conn_tim...
2019-12-06 19:17:35
13310
原创 hue配置HDFS
1.修改hadoop中路径 (core-site.xml)cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoopvim core-site.xml <property><name>hadoop.proxyuser.root.hosts</name><value>*</value&...
2019-12-06 18:21:33
14217
原创 hue 环境搭建
1.上传压缩包rz2.解压到制定的目录tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/3.联网安装需要编译依赖的包yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ kr...
2019-12-06 18:09:08
13030
原创 azkaban 安装
1.上传azkaban 到指定路径rz2.解压到指定的路径tar -r -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ../../servers/3.修改配置文件1.1.0 修改azkaban.propertiescd /export/servers/azkaban-solo-server-0.1.0-SNAP...
2019-12-06 17:49:03
13263
原创 Flume 基本使用
1.通过telnet 进行数据的传输 1.1.0 创建一个文集夹mkdir tmpconf 1.1.1 创建一文件并必须是（.conf）结尾touch tmpconf/a1.conf1.1.2添加配置信息# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组...
2019-12-05 20:37:34
13012
原创 Flume环境搭建
上传压缩包(apache-flume-1.8.0-bin.tar.gz）rz解压到指定的目录 (注意若是在当前目录就不需要C)tar zxvf apache-flume-1.8.0-bin.tar.gz -C ../servers进入到flume中修改配置文件 1.cd /export/servers/apache-flume-1.8.0-bin/conf/ 2....
2019-12-05 17:13:28
13039
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人