![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
WJustHM
就是干
展开
-
Hadoop Hbase Spark 配置文档详解
hadoop1.core-site.xml 1.fs.defaultFS hdfs默认端口 2.hadoop.tmp.dir Hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,但是在/tmp路径下的存储是不安全的,因为linux一次重启,文件就可能被删除。 3.fs.trash.inter原创 2017-09-02 17:07:09 · 412 阅读 · 0 评论 -
hbase与hive的区别与联系
hbase与hive的联系 1.hive适合处理离线的数据 2.hbase适合处理实时的数据的查询 两者合并起来使用可以达到‘+’的效果hive hive适合用于网络日志等数据量大的静态数据查询 HIVE是hadoop的数据仓库,依赖于HDFS和mapreduce 类似于SQL操作 把MAPREDUCE的程序作为插件来支持HIVE的数据分析 作用于全表扫描使用(HIVE+HA原创 2017-09-02 17:08:43 · 809 阅读 · 0 评论 -
Hbase基础原理
发展历史HBASE是建立在HDFS上的高性能数据库系统通过ROWKEY和主键的range来检索数据HIVE支持多表的复杂操作主要是横向扩展,通过增加廉价的服务器,来提高计算能力表名,行健,列组,列,值HBASE中的行只支持三种方式访问1.通过单个ROWKEY访问2.通过ROWKEY的范围访问3.全表扫描 注意ROWKEY在HBASE的内部保存为“字节数组”,一般长度为100左右的B原创 2017-09-02 17:10:04 · 256 阅读 · 0 评论