- 博客(11)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 第十八记·Phoenix与HBase集成操作数据 (Phoenix环境搭建,Squirrel GUI客户端安装)
XY个人记 Phoenix是构建在HBase之上的关系型数据库层，Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoeni...
2018-07-27 21:21:31
1479
原创 第十七记·Java操作HBase进行Bulkload方法导入数据
XY个人记 在第十四记·HBase与MapReduce的集成整合与常用操作中，我们通过HBase shell 进行了Bulkload方式导入数据，Bulkload的方法利用HBase数据按照HFile格式存储在HDFS的原理，使用Mapreduce直接生成HFile格式文件后，RegionServers再将HFile文件移动到相应的Region目录下，这样的方法的有点在于导入过程不占用R...
2018-07-27 19:00:45
4131
3
原创 第十六记·Java操作MapReduce对HBase表进行数据迁移
XY个人记HBase集成MapReduce进行数据迁移工作，通过Java代码将HBase中指定的数据重新更新插入的一张新表中，实现数据迁移。需求场景： 将所有info列簇中的所有name这列导入到另一张表中去，通过Java对MapReduce操作Hbase实现数据迁移建表： 读取的表：create 'stu_mr','info','degree','work' ...
2018-07-27 08:29:03
799
原创 第十五记·HBase压缩、HBase与Hive集成详解
XY个人记一、HBase的压缩配置HBase压缩的三个阶段：1.在数据进入HDFS之前进行压缩2.在MapRecduce的shuffle过程中：Map完成 Reduce开始阶段 数据在节点之间传输的时候进行压缩3.数据处理完成存到HDFS之上的时候进行压缩压缩的目的：1.节省HDFS的存储空间，缓解存储压力2.减少网络传输的数据，减轻网络传输负载HBase配置压...
2018-07-26 17:33:49
1074
原创 第十四记·HBase与MapReduce的集成整合与常用操作
XY个人记 在实际工作中我们对HBase的操作大多数都是与MapReduce共同进行业务操作，HBase 最大的特点之一就是可以紧密的与Hadoop的MapReduce框架集成。在HBase 中没有提供更好的二级索引的方式，在操作数据过程中，如果使用scan进行全表扫描，会极大的降低HBase的效率。 在HBase的官网上关联MapReduce（http://hbase.apac...
2018-07-26 14:40:11
6442
2
原创 第十三记·Java操作HBase详细代码
XY个人记 在shell客户端上控制hbase就不详细的介绍了,关于环境搭建前几篇文章都有详细的介绍，下面来写一下Java代码，这里是官网上的API地址：https://hbase.apache.org/1.2/apidocs/index.html。相关实现介绍 这里介绍Java操作HBase的代码有一下几个相关的功能：1.建表 应用到对象org.apache.ha...
2018-07-21 11:07:55
3145
原创 第十二记·Hbase详解、使用及环境搭建
HBase是一个构建在HDFS上的分布式列存储系统，Hbase内部管理的文件全部存储在HDFS中，HDFS和HBase都具有良好的容错性和扩展性，都可以扩展到成百上千个节点。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储，从逻辑上讲，HBase将数据按照表、行和列进行存储。HBase具有以下特点： 大：一个表可以有数十亿行，上百万列；...
2018-07-21 10:06:29
592
原创 第十一记·Sqoop安装及使用
Sqoop：SQL-to-Hadoop连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到Hadoop与其相关的系统(HBase和Hive)中把数据从Hadoop系统里抽取并导出到关系型数据库里利用MapReduce加快数据传输速度，批处理方式进行数据传输。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关...
2018-07-18 10:04:48
173
原创 第十记·java自定义Hive函数（大小写转换）、hiveserver2服务与jdbc客户端、hive常用sql
一.Java自定义hive函数 --首先创建一个maven项目 --导入jar 添加pom.xml --创建Java文件 -- 打成jar包并上传到hive二、hiveserver2服务与jdbc客户端 -- 启动hiveserver2服务 --配置、启动beelin客户端 --Java使用JDBC链接数据库 --Hive的配置模式分为三种 --Fetch的三种模式三、常用的Hql语句
2018-07-10 19:14:20
845
原创 第九记·Hive安装配置 metastore的三种配置方式详解
XY个人笔记 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu...
2018-07-03 17:35:55
2809
原创 SecureCRT交互窗口不能同时发送解决办法
我们在使用SecureCRT的时候交互窗口无法同属发送问题1.选择交互窗口2.下面会出现空白的交互窗口，然后鼠标右键交互窗口空白处，并选择“发送交互到所有标签”即可。...
2018-07-02 17:11:53
3002
el-tree-transfer.rar
2020-04-10
Google大数据三大论文英文版下载 Google论文MapReduce、GFS、Bigtable论文下载英文版
2018-06-07
Google大数据三大论文中文版下载 Google论文MapReduce、GFS、Bigtable论文下载
2018-06-07
Hadoop权威指南(第四版)中文版.pdf 清华大学出版 Tom White 著，王海等译
2018-06-04
Linux-maven.tar和repository.tar下载 linux-maven安装包，仓库包下载
2018-06-01
eclipse-linux版下载eclipse.tar包下载
2018-06-01
native-2.7.3-snappy.tar.gz 下载 native tar包下载
2018-06-01
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
2018-05-17
FileZilla中文版下载
2018-05-15
pinyin4j-2.5.0.jar 下载 java汉字转拼音 jar包 附带超级简单小dome
2018-05-07
2017年阿里技术年度精选(上下册)下载
2018-04-27
阿里技术参考图册下载（包含算法篇和研发篇）
2018-04-27
Sublime Text 破解工具 注册机
2018-04-27
JDK1.7下载
2018-04-25
Spring-boot jar Spring-boot所需jar包
2018-03-28
SpringMVC+MyBatis实战代码教学
2018-02-26
jackson所需jar包4个
2017-12-27
MyBatis所需jar包 mybatis-3.4.5 整合spring可用
2017-12-27
springMVC所需jar包 spring-framework-4.2.0.RELEASE.jar
2017-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人