大数据
策马出凉州
这个作者很懒,什么都没留下…
展开
-
hbase-handler解决hive冲突
hbase-handler解决hive冲突将hive中的数据转移到hbase时会产生jar包冲突。7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00...原创 2020-02-10 08:35:49 · 267 阅读 · 0 评论 -
Sqoop工具的使用
Sqoopsqoop理解(sqoop站在Hdfs角度)Sqoop是一个能够在hadoop的结构化数据库和传统的关系型数据库之间进行高效批量数据传输的工具,通过内嵌的mapreduce程序实现关系型数据库和hdfs,hive和hbase之间数据的输入和输出。sqoop安装1、访问sqoop的⽹址http://sqoop.apache.org/,选择相应的sqoop版本下载,本案例选择下载的...原创 2020-02-10 08:27:13 · 183 阅读 · 0 评论 -
flume日志采集
flume.apache.orgflume概念解析Flume是一种分布式的,能够有效地收集,聚合和移动大量日志数据的工具。flume有着可靠的故障转移和恢复机制,具有强大的容错性。flume有两个版本,Flume-og和Flume-ng,本次使用的是apache-flume-1.9.0-bin.tar.gz。Flume架构Ageng是最小的日志收集单元,所谓flume的日志采集是...原创 2020-02-06 21:40:14 · 1494 阅读 · 0 评论 -
大数据 Hbase
HBase一:hbase的理解HBase:是一个基于hadoop的分布式,可扩展,巨大存储仓库,当用户需要对海量的数据进行实时的失效性随机的读写操作,用户可以使用hbase设计一张巨大的表,该表的规模能达到十亿行*数百万列,并且可以运行在商用的硬件集群之上。hbase:是一个基于hadoop的分布式,可扩展,版本化的巨大的非关系型数据库。hdfs和hbase的区别:hbase是构建在hdf...原创 2020-01-08 21:14:52 · 274 阅读 · 0 评论