HBase
秉寒-CHO
但行好事,莫问前程
展开
-
MapReduce Hive Hbase 项目 优化
一、调优的目的 充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。二、调优的总体概述 从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,其中mapper阶段包括数据的读取、map处理以及写出操作(排序和合并/sort&merge),而reducer阶段包含mapper输出原创 2016-07-03 17:06:32 · 1421 阅读 · 0 评论 -
java 链接mysql 产生500W数据模拟生成环境
java 插入数据到mysql 通过sqoop 导入到hive 中,kylin模拟见cube 时间和 数据膨胀率 kylin 数据插入到 HBaseKylinHBase 1.1.3Hive 1.2.1Hadoop 2.5.1create table infoagetime(prod_name char(10),prod_id SMALLINT,ods_date D原创 2016-09-09 20:33:22 · 1572 阅读 · 0 评论 -
大数据面试题
1.列举spark 比hadoop 快的原 因 ,以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性,以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历 ,如何实现无xiang 遍历,描述思路4.SPark 通过yarn 提交任务时,yarn-client & yarn-cluster 的区别原创 2016-10-15 13:36:56 · 1074 阅读 · 0 评论 -
Hbase 的一些重要网站链接,有空没空的搂两眼
http://www.cnblogs.com/nexiyi/p/hbase_shell.htmlhttp://blog.csdn.net/scutshuxue/article/details/6988348http://www.cnblogs.com/heyCoding/archive/2012/11/09/2762334.htmlhttp://www.cnblogs.co原创 2016-12-05 22:17:43 · 343 阅读 · 0 评论 -
Hbase 的java 增删改查操作
package cmcc.hbase.dao.impl;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.h原创 2016-12-05 22:38:45 · 325 阅读 · 0 评论 -
大数据Hbase 面试题
1.2 hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储,zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据,对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hbase为null的记录不会被存储.(4)基于的表包含rowkey,时间戳,和列族。新写入数原创 2016-10-14 22:33:09 · 26987 阅读 · 0 评论