![](https://img-blog.csdnimg.cn/1838d1a67a5748bfbca0a7673fc52864.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据存储系列
HBase、Hive等
兀坐晴窗独饮茶
我的个人博客 http://knightzz.cn/
展开
-
从零开始学习Saprk - 32种Saprk算子详解(完整版)
一.Transform类型算子1.1 Value 类型1.1.1 map 算子介绍 :返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 ,也就是说RDD中每个元素都会执行一次这个方法代码 : // 创建SparkConf 设置本地运行模式 val conf = new SparkConf() .setMaster("local[1]") .setAppName("MapOperator") // 创建SparkContext val原创 2019-11-17 18:43:31 · 750 阅读 · 1 评论 -
从零开始学习Spark - SparkRDD、SparkDStream与HBase交互
一. SparkRDD 与 HBase的交互1.1 依赖配置以及注意事项1.1.1 特别注意建议参考 2.3 添加数据 - put的使用里面的处理方法1.1.2 POM 文件<properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target>原创 2019-12-01 17:04:11 · 896 阅读 · 3 评论 -
【HBase】- HBase扫描表时报错 org.apache.hadoop.hbase.DoNotRetryIOException: hconnection-0x233fe9b6 closed
描述for (String attendUid : attendUids) { // 范围 uid_ => uid_************ => uid| // 范围的获取是根据unicode码来判断 uid_ 小于 所有 uid_* 而 | 的unicode码比 _ 大 所以大于所有的 uid_.... ...原创 2019-08-07 12:56:13 · 4192 阅读 · 0 评论 -
【HBase】- 使用Java读取HBase表中的数据报错 org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException
描述今天我使用 Java 连接HBase 读取数据时报错 , 报错信息如下其实报错信息已经很明显了 ,就是HBase表中不存在我读取的那个列族, 然后仔细检查了下, 发现是由于自己写列族名写错了 , 然后更改过来即可我读取的那两个表其实是没有info这个列族的 之前的表用到了,然后马虎,这里记下来 避免再次发生错误....原创 2019-08-07 11:14:51 · 4553 阅读 · 3 评论 -
【HBase】- HBase Shell 表和 命名空间相关命令
Hbase 基础命令1. 开启Hbase 命令行> 进入 hbase bin 目录 hbase shell2. 查看帮助命令help3. 查看当前数据库中有哪些表list4. 退出Hbase 命令行Ctr + C 5.补充Hbase 的删除操作是从前向后删除的, 必须使用 ctrl + 删除才是正常的删除表的相关操作命令1. 创建表create '...原创 2019-07-31 21:19:36 · 3478 阅读 · 0 评论 -
【HBase】- Hive和HBase表的关联 ⭐️⭐️⭐️
Hive和HBase表的关联1. HBase 和 Hive 的对比Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方便使用 HQL 去管理查询。(2) 用于数据分析、清洗Hive 适用于离线的数据分析和清洗,延迟较高。(3) 基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上,...原创 2019-08-04 22:02:39 · 345 阅读 · 0 评论 -
【HBase】- 使用MapReduce对HBase数据进行操作案例 ⭐️⭐️⭐️
案例 一1. 需求从 Person 表中读取name列的数据 写入到 Person_mr2.代码Map 阶段package com.wangt.habse.mr01;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase...原创 2019-08-04 22:00:35 · 338 阅读 · 3 评论 -
HBase踩坑笔记 - 使用 MR 集成Hbase 报错 IllegalArgumentException: No columns to insert ⭐️⭐️⭐️⭐️
错误描述今天在 使用 MapReduce 将 Person 表中的 name 字段 的数据 写入到 Person_mr 表中 报错代码 如下 :Mapperpackage com.wangt.habse.mr01;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import or...原创 2019-08-04 16:17:04 · 917 阅读 · 1 评论 -
从零开始学习HBase - 一文详解HBase常用API
HBase常用API总结❤️ 使用的HBase版本为 1.311. pom.xml文件: <!-- 配置 Hbase 的依赖 --> <dependencies> <dependency> <groupId>org.apache.hbase</groupId> ...原创 2019-08-02 21:16:55 · 1651 阅读 · 0 评论 -
从零开始学习HBase - CDH下HBase和MapReduce的集成
CDH 下 HBase和MR的集成1.配置环境变量❤️ 注意 每台机器都要配置vim /etc/profile追加到profile文件尾部 :export HBASE_HOME=/opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/hbaseexport HADOOP_HOME=/opt/cloudera/parcels/CD...原创 2019-08-02 20:56:10 · 274 阅读 · 0 评论