hbase
关注
分享
扫一扫
jy02268879
这个作者很懒，什么都没留下…
展开
-
【一】HBase安装（伪分布式）
下载地址需要先安装zookeeper解压tar -zxvf hbase-1.4.4-bin.tar.gz修改文件名字mv hbase-1.4.4 hbase修改配置文件cd /app/hbase/confvi hbase-env.shexport JAVA_HOME=/app/java/jdk1.8.0_101export HBASE_MANAGES_ZK...原创 2018-07-16 03:18:52 · 177 阅读 · 0 评论 -
【四】HBase Shell命令
shell命令创建表 createcreate 'tablename','column family1','column family2' create 'wc','cf'添加记录 putput 'tablename','row key','column family:column name','value'put 'wc','hello','cf:hello','5'...原创 2018-08-02 04:23:27 · 1723 阅读 · 0 评论 -
【三】HBase概述
列式存储。一个表可以有几十亿行，上百万列。面向列（族）的存储和权限访问，列（族）独立索引。对于为Null的列不占用存储空间。数据类型单一，HBase中的数据类型就是字符串类型（string）。无模式：每行有一个可排序主键和任意多个列，列可以动态添加。同一张表中不同的行可以有截然不同的列。只有普通的增、删、改、查，没有表之间的关联查询。如果用HBase进行关联查询需要自己写Map...原创 2018-08-02 03:10:00 · 489 阅读 · 0 评论 -
Spring Boot+Echarts+HBase绘制动态数据饼图（Spring Boot打包提交到服务器上运行）
echarts官网Spring Boot整合Echarts绘制静态数据柱状图、饼图项目目录需要echarts.min.js和jquery.jspom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...原创 2018-07-23 04:57:08 · 3739 阅读 · 1 评论 -
【十三】Phoenix 调优
参数调优建表优化在创建表的时候指定salting。它会打散rowkey,这样的话hbase写数据的时候会把数据分配到不同的region中，有利于phoenix的并发读写操作。create table test(mykey int not null primary key,mycolumn string)salt_buckets=16创建表使用pre-split(...原创 2018-08-04 00:15:33 · 3041 阅读 · 3 评论 -
【十二】Phoenix Java API操作
项目目录phoenix.propertiesphoenix.driver=org.apache.phoenix.jdbc.PhoenixDriverphoenix.url=jdbc:phoenix:node1:2181phoenix.user=rootphoenix.password=密码pom.xml<?xml version="1.0" encoding="...原创 2018-08-03 23:43:19 · 9945 阅读 · 2 评论 -
【十一】Phoenix图形用户界面（SQuirrel）的安装及使用
SQuirrel下载我这里是windows,下载到F盘hbase目录下启动java -jar squirrel-sql-3.8.1-standard.jar一直下一步完成后查看安装目录拷贝服务器上phoenix-[version]-client.jar的到客户端的lib下打开SQuirrel创建Driver创建连接成功...原创 2018-08-03 22:20:56 · 1306 阅读 · 1 评论 -
【十】Phoenix视图映射HBase中已有的表
启动zookeeper启动hadoop启动hbase查看wc表启动phoenix命令行创建一个视图来映射HBase中的表。如果在phoenix中建表映射HBase中已有的表，phoenix会认为这表是自己的，在phoenix删除该表，会把HBase中已有的表的数据一起删掉。所以最好用视图。create view "wc"(pk varchar primary key...原创 2018-08-03 21:08:42 · 1799 阅读 · 4 评论 -
【九】Phoenix安装及基本使用
官网官网安装介绍下载bincd /app解压tar -zxvf apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz修改文件夹名字mv apache-phoenix-4.14.0-HBase-1.4-bin phoenix复制phoenix的 phoenix-[version]-server.jar包到hbase/lib下cd...原创 2018-08-03 20:40:41 · 1652 阅读 · 0 评论 -
【八】Phoenix概述
概述Phoenix可以通过SQL的方式操作HBase。它将SQL转换成HBase API 并行执行查询。支持JDBC驱动。支持group by、limit、join。同时能为HBase加上二级索引，调优。phoenix支持语法phoenix整合HBase的架构phoenix数据模型phoenix视图可更新视图：使用等式表达式创建的视图WHER...原创 2018-08-03 19:11:23 · 407 阅读 · 0 评论 -
【七】HBase集成Hive（Hive On HBase）
使用场景1.通过Hive把数据加载到HBase中，数据源可以是文件也能是表。HBase集成Hive后，hive表数据增加的同时，HBase中的数据也会增加。2.HBase的查询不支持join和group by。可以通过Hive整合HBase的方式让HBase支持这些操作（先把HBase的数据加载到Hive中，通过Hive的语法来join和group by）。3.HBase实时的插入数据...原创 2018-08-03 18:40:30 · 5277 阅读 · 2 评论 -
【六】HBase集群调优
服务器优化1.服务器内存要大，最低不要低于32G。2.服务器要64位。3.swap（交换区）设置为零，只有在物理内存不够时才用交换区。如果使用交换区，在JVM在GC回收的时候会消耗更多时间，导致regionserver和zookeeper连接超时。HMaster认为HRegionServer已经故障了。4.GC回收采用并行增量式。-XX:CMSInitiatingOccup...原创 2018-08-03 16:28:01 · 324 阅读 · 0 评论 -
【二】HBase安装（基于hadoop2.9HA的搭建）（分布式）
先安装分布式Zookeeperhadoop分布式配置(HA高可用) NN DN ZK ZKFC JN RM NM HM RS Node1 Y Y ...原创 2018-07-21 22:49:14 · 1912 阅读 · 0 评论 -
【十八Spark Streaming实战】日志分析之Flume+Kafka+Spark Streaming+Hbase
【十七Spark Streaming实战】日志分析之用python生成日志对接Python日志产生器输出的日志到Flume1.编写flume agent的配置文件在node1上进入flume目录cd /app/flume/flume/conf创建flume的agent配置文件vi test-streaming-project.conf#streaming-projec...原创 2018-07-23 02:56:17 · 1961 阅读 · 0 评论 -
【十二】storm+hbase集成
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache...原创 2018-08-02 01:48:27 · 1170 阅读 · 0 评论 -
【五】HBase Java API操作get put namespace scan filter cache
get put namespace scan filter cache代码package com.sid.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apa...原创 2018-08-02 23:53:51 · 1092 阅读 · 0 评论