- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 (3)Phoenix创建Hbase二级索引
文章目录3.1 配置Hbase支持Phoenix创建二级索引3.1.1 添加如下配置到Hbase的Hregionserver节点的hbase-site.xml<!-- phoenix regionserver 配置参数 --><property><name>hbase.regionserver.wal.codec</name><va...
2019-11-26 00:14:51
702
原创 (2)Phoenix的基本使用
文章目录显示所有表创建表插入记录查询删除记录删除表退出命令行phoenix表映射显示所有表！table 或 ！tables创建表CREATE TABLE US_POPULATION ( STATE CHAR(2) NOT NULL, CITY VARCHAR NOT NULL, POPULATION BIGINT, CONSTRAINT MY_PK PRIMARY KEY (ST...
2019-11-26 00:12:22
903
原创 (6)HBase的API操作(java版本)
文章目录初始化创建hbase连接表是否存在创建表删除表向表中插入单条数据根据rowKey删除多条数据初始化创建hbase连接 public static Connection init(){ Configuration conf = new Configuration(); //使用HbaseConfiguration单例方法实例化 con...
2019-11-25 00:27:41
384
原创 hbase shell 报错ERROR: can't convert Fixnum into String
文章目录场景再现解决方案场景再现修改hbase表的版本时报错alter 'TEST:REAL_VALUE', {NAME => 'data', VERSIONS => 5}报错can’t convert Fixnum into String解决方案虚拟机多次不正确关闭,导致不稳定,重启下hbase即可...
2019-11-19 00:03:30
567
原创 (5)HBase原理
文章目录读流程写流程数据flush过程数据合并过程读流程1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；2）根据namespace、表名和rowkey在meta表中找到对应的region信息；3）找到这个region对应的regionserver；4）查找对应的region；5）先从...
2019-11-17 23:44:59
217
原创 (4)HBase数据结构
文章目录RowKeyColumn FamilyCellTime Stamp命名空间RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：1.通过单个RowKey访问(get)2.通过RowKey的range（正则）(like)3.全表扫描(scan)RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，...
2019-11-17 23:40:45
393
原创 (3)Hbase的shell操作
文章目录基本操作表的操作基本操作1．进入HBase客户端命令行[root@note01 conf]# hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建命名空间hbase的命名空间类似于数据库中的数据库概念hbase(main):0...
2019-11-16 23:39:13
302
原创 (2)Hbase安装
文章目录前提条件修改HBase对应的配置文件HBase服务的启动查看HBase页面前提条件1.Zookeeper正常部署并启动2.Hadoop正常部署并启动解压hbasetar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module修改HBase对应的配置文件hbase-env.sh修改内容export JAVA_HOME=/opt/module/...
2019-11-16 22:41:09
214
原创 (1)Hbase简介
文章目录HBase缘由Hbase特点1）海量存储2）列式存储3）极易扩展4）高并发（多核）5）稀疏HBase架构1）Client2）Zookeeper3）Hmaster（NameNode）4）HregionServer(DataNode)5）HDFSHBase中的角色HMasterRegionServer其他组件HBase缘由HBase的原型是Google的BigTable论文，受到了该论文思...
2019-11-16 22:10:33
281
原创 (1)大数据管理:kerberos安全认证了解
文章目录Kerberos是什么Kerberos的概念Kerberos认证原理Kerberos是什么Kerberos是一种计算机网络授权协议,用来在非安全网路中,对个人通信以安全的手段进行身份验证,该词为麻省理工学院为这个协议开发的一套计算机软件,软件设计采用CS架构,并且能够进行互相认证,客户端和服务器都可对对方进行身份验证,可以用于防止窃听,防止重放攻击,保护数据完整性等场合,是一种应用对称...
2019-11-14 23:29:28
545
原创 (2)kafka的安装
文章目录下载地址http://kafka.apache.org/downloads.html1.上传压缩包并解压tar -zxvf kafka_2.11-0.11.0.2.tgz2.修改解压后的文件名称mv kafka_2.11-0.11.0.2 kafka3.在/opt/module/kafka目录下创建logs文件夹[root@note01 module]# cd kafk...
2019-11-12 23:48:09
259
原创 (8)flume自定义mysql source
文章目录代码实现SQLSourceHelper测试根据官方说明自定义mysqlsource需要继承AbstractSource类并实现Configurable和PollableSource接口。实现相应方法：getBackOffSleepIncrement()//暂不用getMaxBackOffSleepInterval()//暂不用configure(Context context)/...
2019-11-08 23:19:53
465
原创 (终章)flume面试题集锦
文章目录Flume数据传输的监控的Flume的Source，Sink，Channel的作用？你们Source是什么类型？Flume的Channel SelectorsFlume参数调优Flume的事务机制Flume采集数据会丢失吗?Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume。Flume的Source，Sink，Channel的作用？你们Source是什么类型？...
2019-11-08 23:14:37
2413
原创 (1)Phoenix概述以及安装
简介1.1Phoenix定义Phoenix是HBase的开源SQL框架。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据Phoenix特点容易集成：如Spark，Hive，Pig，Flume和Map Reduce。操作简单：DML命令以及通过DDL命令创建和操作表和版本化增量更改。完美支持Hbase二级索引创建。Phoenix架构...
2019-11-06 21:13:52
508
原创 (7)flume自定义sink
文章目录介绍需求编码介绍Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channe...
2019-11-05 23:22:49
359
原创 (5)Flume监控之Ganglia
文章目录安装操作Flume测试监控Ganglia : 发音 干个你儿安装安装httpd服务与phpyum -y install httpd php安装其他依赖yum -y install rrdtool perl-rrdtool rrdtool-develyum -y install apr-devel安装ganglia rpm -Uvh http://dl.fe...
2019-11-04 23:32:56
313
原创 (6)flume自定义source
文章目录概述需求分析编码测试概述Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此...
2019-11-04 23:31:16
307
原创 (4)多数据源汇总案例
文章目录架构图1.案例需求2.需求分析3. 具体实现架构图1.案例需求note01上的Flume-1监控文件/opt/module/group.lognote02上的Flume-2监控某一个端口的数据流Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台。2.需求分析3. 具体实现分发Flume[root@not...
2019-11-03 23:52:26
684
原创 (3)单数据源多出口案例(Sink组)负载均衡器
文章目录逻辑架构1．创建flume-netcat-flume.conf创建flume-flume-console1.conf3．创建flume-flume-console2.conf执行配置文件逻辑架构单Source、Channel多Sink(负载均衡)如图7-3所示。1）案例需求：使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDF...
2019-11-03 19:13:00
556
原创 (3)Flume监控端口,读取本地文件到HDFS,读取目录文件到HDFS
文章目录监控端口数据实时读取本地文件到HDFS监控端口数据案例首先启动Flume任务，监控本机44444端口服务端: 通过netcat工具向本机44444端口发送消息客户端:Flume将监听的数据实时显示在控制台1．安装netcat工具yum install -y nc2.判断44444端口是否被占用netstat -tunlp | grep 44444功能描述：netst...
2019-11-01 00:05:47
1178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人