Java日常笔记精选的博客

Spring AOP + 自定义注解，快速实现日志记录

Spring Boot使用Spring validation进行参数校验

Spring Boot 自定义异常和全局异常处理

参考官网：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html# avro sourcea1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = avroa1.sources.r1.channels = c1a1.sour...

参考官网，本案例使用Netcat为source1.配置[flume-conf.properties]# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Desc...

1.下载2.解压，建立伪连接3.配置环境变量FLUME_HOME=/soft/flume PATH=.....:${FLUME_HOME}/bin4.验证flume-ng

1.只需要启动多个HMaster$>ssh s102 hbase-daemon.sh start master $>ssh s103 hbase-daemon.sh start master2.查看进程jps3.查看zk中back-masters4.查看webui中的back-masters5.手动杀死active master 查看...

单值过滤器/** * 使用过滤器查询数据 * 查询年龄小于20的数据 */ @Test public void scanWithFilter() throws Exception { HTable table = (HTable) conn.getTable(TableName.valueOf("ns1:t1")); //单列值过滤器 SingleColumn...

public class FilterTest { //操作表数据CRUD private Connection conn; //操作表 创建，删除表 private Admin admin; /** * 初始化连接 */ @Before public void init() throws IOException { Configuration conf = H...

1.客户端在进行大量put操作的时候，最好开启缓冲区因为每一次Put都是一次RPC调用，开启缓冲区，批量插入，减少RPC调用的次数HTable.setAutoFlush(false); //新版本没有这个方法2.或者使用putlist...

1.创建maven项目2.导入maven依赖<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --><dependency> <groupId>org.apache.hbase</groupId> <artifactId...

1.启动hbase,进入shell$>hbase shell创建表，表名t1，HBase表是由Key-Value组成的，下面给出一个hbase表的格式，为方便理解此表有两个列族，列族1和列族2，其中列族1和列族2下分别有两个列name和age，phone和address创建表的时候只需要指定列族就可以了创建表//创建表，包含两个列族f1,f2 crea...

0.安装hadoop和jdk1.官网下载hbase安装包2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environmentHBASE_HOME=/soft/hbasepath=.....:/soft/hbase4.配置/soft/hbase/conf/hbase-site.xm...

0.安装hadoop和jdk1.官网下载hbase安装包2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environment HBASE_HOME=/soft/hbase path=.....:/soft/hbase4.配置/soft/hbase/conf/hbase-site....

0.安装hadoop和jdk1.官网下载hbase安装包(使用1.3版本)2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environmentHBASE_HOME=/soft/hbasepath=.....:/soft/hbase4.配置/soft/hbase/conf/hbase...

1.介绍是分布式面向列的数据库，构建在Hadoop之上类似于goole的big table ，对海量结构化数据的快速随机访问是Hadoop生态系统的一部分，提供随机实时读写2.HBASE和hadoop的区别 hdfs hbase 1. 分布式文件系统，存储大量数据 数据库，构建在hdfs之上 2. 不支持快速单个记录查找 ...

wiki：https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1.在hive的配置文件中添加hbase的zk地址2.确保hive/lib下存在hive-hbase-handler-x.y.z.jar3.创建hive表和Hbase表的映射关系内部表和外部表的区别：内部表：当hbase中...

CREATE [EXTERNAL] TABLE <table_name> (<col_name> <data_type> [, <col_name> <data_type> ...])] [PARTITIONED BY ...] CLUSTERED BY (<col_name>) ...

order by 全排序order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict;order by 和数据...

1.执行Hive命令的时候报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaSto...