- 博客(52)
- 收藏
- 关注
RSS订阅原创 flume几种使用配置 avro spooling exec thrift
参考官网：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html# avro sourcea1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = avroa1.sources.r1.channels = c1a1.sour...
2020-01-13 16:21:20
351
原创 flume简单案例 netcat source
参考官网，本案例使用Netcat为source1.配置[flume-conf.properties]# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Desc...
2020-01-13 16:16:04
604
原创 flume 安装
1.下载2.解压，建立伪连接3.配置环境变量FLUME_HOME=/soft/flume PATH=.....:${FLUME_HOME}/bin4.验证flume-ng
2020-01-13 16:13:39
118
原创 hbase HA 高可用
1.只需要启动多个HMaster$>ssh s102 hbase-daemon.sh start master $>ssh s103 hbase-daemon.sh start master2.查看进程jps3.查看zk中back-masters4.查看webui中的back-masters5.手动杀死active master 查看...
2020-01-03 13:50:24
131
原创 hbase过滤器
单值过滤器/** * 使用过滤器查询数据 * 查询年龄小于20的数据 */ @Test public void scanWithFilter() throws Exception { HTable table = (HTable) conn.getTable(TableName.valueOf("ns1:t1")); //单列值过滤器 SingleColumn...
2020-01-03 13:47:52
218
原创 scan 扫描数据 put 插入数据
public class FilterTest { //操作表数据CRUD private Connection conn; //操作表 创建，删除表 private Admin admin; /** * 初始化连接 */ @Before public void init() throws IOException { Configuration conf = H...
2019-12-31 09:38:44
429
原创 hbase批量插入 客户端缓冲区
1.客户端在进行大量put操作的时候，最好开启缓冲区因为每一次Put都是一次RPC调用，开启缓冲区，批量插入，减少RPC调用的次数HTable.setAutoFlush(false); //新版本没有这个方法2.或者使用putlist...
2019-12-31 09:36:55
235
原创 hbase java 客户端编程
1.创建maven项目2.导入maven依赖<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --><dependency> <groupId>org.apache.hbase</groupId> <artifactId...
2019-12-31 09:35:34
164
原创 hbase shell 创建表
1.启动hbase,进入shell$>hbase shell创建表，表名t1，HBase表是由Key-Value组成的，下面给出一个hbase表的格式，为方便理解此表有两个列族，列族1和列族2，其中列族1和列族2下分别有两个列name和age，phone和address创建表的时候只需要指定列族就可以了创建表//创建表，包含两个列族f1,f2 crea...
2019-12-25 17:42:23
6878
原创 hbase 完全分布式
0.安装hadoop和jdk1.官网下载hbase安装包2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environmentHBASE_HOME=/soft/hbasepath=.....:/soft/hbase4.配置/soft/hbase/conf/hbase-site.xm...
2019-12-24 09:39:53
266
原创 hbase 伪分布式 psesudo
0.安装hadoop和jdk1.官网下载hbase安装包2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environment HBASE_HOME=/soft/hbase path=.....:/soft/hbase4.配置/soft/hbase/conf/hbase-site....
2019-12-24 09:30:46
101
原创 hbase安装 独立模式
0.安装hadoop和jdk1.官网下载hbase安装包(使用1.3版本)2.解压到/soft/下,建立伪链接ln -s hbase-xxx hbase3.配置环境变量vi /etc/environmentHBASE_HOME=/soft/hbasepath=.....:/soft/hbase4.配置/soft/hbase/conf/hbase...
2019-12-24 09:29:03
242
原创 Hbase 概念
1.介绍是分布式面向列的数据库，构建在Hadoop之上类似于goole的big table ，对海量结构化数据的快速随机访问是Hadoop生态系统的一部分，提供随机实时读写2.HBASE和hadoop的区别 hdfs hbase 1. 分布式文件系统，存储大量数据 数据库，构建在hdfs之上 2. 不支持快速单个记录查找 ...
2019-12-23 14:58:23
161
原创 hive整合hbase
wiki：https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1.在hive的配置文件中添加hbase的zk地址2.确保hive/lib下存在hive-hbase-handler-x.y.z.jar3.创建hive表和Hbase表的映射关系内部表和外部表的区别：内部表：当hbase中...
2019-12-18 10:26:51
117
原创 hive 分桶
CREATE [EXTERNAL] TABLE <table_name> (<col_name> <data_type> [, <col_name> <data_type> ...])] [PARTITIONED BY ...] CLUSTERED BY (<col_name>) ...
2019-12-17 13:42:01
366
原创 hive 排序
order by 全排序order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict;order by 和数据...
2019-12-17 13:33:23
90
原创 执行hive命令报错 SessionHiveMetaStoreClient
1.执行Hive命令的时候报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaSto...
2019-12-13 14:57:29
2160
原创 hive 连接查询优化
1.每个join都会启动一个mapreduce如果连接字段是同一个字段，则会进入同一个reduce2.hive会默认最后一个表为数据量最大的表，所以会将前面的表进行缓存所以进行连接查询的时候，将表从小到大连接3.如果查询中不想将大表放到最后，可以使用查询暗示，指定哪张表示最大的select /* +streamtable(c) */ c.id,c.namefr...
2019-12-13 11:42:48
284
原创 hive 如何避免产生mapreduce
不是用mr查询的Job就是本地Job避免产生MR的三种方式：1.全表扫描,不加where子句2.where子句只有分区字段3.设置hive.exec.mode.local.auto=truehive会尽量使用本地模式查询其余的所有查询都会转换成mr...
2019-12-13 11:39:32
384
原创 hive分区表常用操作，创建分区表，动态分区
1.加载数据到表中LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]2.查看表信息//只有简单的信息desc database.tablename//格式化后的详细信息desc formatt...
2019-12-12 14:19:19
966
原创 hive 客户端编程 使用jdbc操作Hive表
1.启动hiveserver22.代码实现import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import org.junit.After...
2019-12-12 14:06:52
319
原创 hive 创建表
建表有三种方式： 1.直接建表法create table table_name(col_name data_type); 也可以自己指定表结构参数，指定字段终止符和行终止符和存储在HDFS上的文件格式hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String, > sala...
2019-12-11 16:48:38
614
原创 hive 客户端编程 配置hiveserver2
1.eclipse创建项目2.引入hive jar包 将hive/lib下的所有jar包引入3.修改Hive-site.xml配置 使用OS操作系统的认证方式[hive-site.xml]<!-- 调度Yarn的时候是否以Hive用户身份，false已Hive默认用户身份,true以访问用户 --><!-- 为true时报错 -->...
2019-12-11 16:39:01
328
原创 hive 配置 mysql 数据库
1.安装mysql2.登录mysql，创建数据库create database myhive;3.修改hive/conf/hive-site.xml文件，配置Mysql驱动和连接信息<property> <name>javax.jdo.option.ConnectionDriverName</name> <value...
2019-12-11 16:35:08
272
原创 hive 安装
安装：----------------------------------------------1.安装JDK和HADOOP2.官网下载稳定版3.解压到/soft/下tar -xzvf apache-hive.tar /soft/4.为了方便管理，建立伪链接 ln -s hive.xxx hive5.配置环境变量#编辑环境变量v...
2019-12-11 13:47:19
75
原创 hive概念及特点
1.数据仓库软件2.存储，重在分析，延迟高3.使用SQL来读，写，管理驻留在分布式存储系统大型数据集，可以使用命令行和Driver链接到Hive4.运行在hadood之上，用来汇集查询数据 OLAP: online analyze process不是： 关系型数据库 OLTP 不适合实时查询和底层更新操作特点： ...
2019-12-11 13:39:42
624
原创 hadoop使用zk自动容灾
参考之前的文章，配置hadoop集群和HA1.停止hadoop集群2.修改hdfs-site.xml配置自动容灾[hdfs-site.xml]<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> <...
2019-12-10 11:18:01
207
原创 RM HA resourcemanager 资源管理器高可用配置 HA
1.停止yarn$>stop-yarn.sh2.配置 yarn-site.xml<!-- 启用rm高可用 --><property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value></property...
2019-12-10 11:10:48
196
原创 distcp 并行复制 大数据
//复制文件$>hadoop distcp file1 file2//复制文件夹,如果dir2不存在，则会创建//如果dir2存在，则会将dir1放入dir2下,形成dir2/dir1目录$>hadoop distcp dir1 dir2//可以使用-overwrite强行覆盖dir2$>hadoop distcp -overwrite dir1 dir2...
2019-07-10 11:06:27
286
原创 hadoop 利用文件系统 FileSystem 读写文件
读取hdfs文件：--------------------------------------------------------------------------------------------1.使用java.net.URL()访问一个文件 static { //设置hdfs协议，没有这一步，无法识别hdfs URL.setURLStreamHandlerF...
2019-07-10 11:04:57
962
原创 HA 启动过程 high avalibility with QJM
1.启动NN,DN,NM,RM$>start-dfs.sh$>start-yarn.sh或单节点启动：//启动名称节点$>hadoop-daemon.sh start namenode//启动资源管理器$>yarn-daemon.sh start resourcemanager//启动所有数据节点 会遍历slaves$>hadoop-daem...
2019-07-10 10:53:45
182
原创 HDFS High Availability 高可用(HA) with QJM
什么是高可用：1.持续服务的能力。 2.避免single point of failure 单点故障 SPOFFail Over容灾fault tolerent容错hadoop实现HA的两种方式1.Using the Quorum Journal Manager (QJM)2.NFS net FileSystem3.QJM架构...
2019-07-10 10:51:56
232
原创 节点的服役与退役 commissioning与decommissioning
在不停止集群的情况下添加和删除节点[slaves.xml] //仅仅是控制集群操作，hadoop启动的时候会根据这个文件里面的地址，启动所有数据节点管理节点的服役与退役，需要配置hdfs-site.xml和yarn-site.xml这两个属性是由hadoop-daemon调用的属性中的文件路径必须是名称节点上的(在nam...
2019-07-10 10:42:39
454
1
原创 hadoop chain 链条
链表流程图：使用方法：可以查看ChainMapper类说明 //使用 不使用默认配置的配置文件 * JobConf mapAConf = new JobConf(false); * ... * ChainMapper.addMapper(conf, AMap.class, LongWritable.class, Text.class, * Text.class,...
2019-07-10 10:38:04
143
原创 设置 切片 大小
<!-- mapred-site.xml --><!-- 最小切片大小 --><property> <name>mapreduce.input.fileinputformat.split.minsize</name> <value>0</value></property><!...
2019-07-09 09:09:39
1092
原创 hadoop 远程调试
远端调试名称节点--------------------------------------------------------------------------------[远端s101,namenode]1.查看java远程调试的帮助c:/>java -agentlib:jdwp=help2.设置java虚拟机的远程调试//设置java虚拟机参数，启用远端调试...
2019-07-09 09:09:22
312
原创 window 配置hadoop
1.安装jdk，配置环境变量2.官网下载hadoop并解压3.配置环境变量HADOOP_HOME D:\tools\hadoop-2.7.7 PATH %HADOOP_HOME%\bin4.cmd命令测试是否安装成功hadoop version如果报一下错误,需要修改hadoop目录下 conf\hadoop-env.cmd文件中的set JAVA_HOME=%JAVA...
2019-07-08 19:37:03
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人