大数据
青柠-柠
这个作者很懒,什么都没留下…
展开
-
Flume 与 Spark Streaming 的整合
看到这篇文章的你们,我相信你们已经把环境安装好,并且可以运行代码了,话不多说 。Spark Streaming整合Flume有两种方式,我只介绍这一种 Push 方法 (一定要按照我写的步骤来做 )我会写本地环境和服务器环境联调接下来是本地环境联调第一步:编写Agent (推荐在flume/conf 文件夹下写conf) flume_push_streaming.c原创 2018-02-02 14:07:11 · 984 阅读 · 0 评论 -
Hbase 简单了解
HBase 是一个NoSQL数据库,用于处理海量数据,可以支持10亿行百万列的大表,下面就了解一下数据是如何存放在HBase表中的关系型数据库的表结构为了更好的理解HBase表的思路,先回顾一下关系数据库中表的处理方式例如有一个用户表user_info,有字段:id、name、tel,表名和字段需要在建表时指定create table user_info ( id 类型, name 类...转载 2018-03-01 11:20:08 · 355 阅读 · 0 评论 -
hbase数据迁移发生ERROR: Unknown table错误
1.把数据表test从hbase下拷出(hadoop dfs -get /hbase/test ./)2.文件放到新集群的系统上。3.文件拷入新的hadoop集群hbase下(hadoop dfs -put test /hbase/test)4.到hbase shell下list,可以看到test表已经存在,但是你scan的时候出现错误:TABLEtest1 row(s) in 0.0220 ...转载 2018-03-22 21:06:59 · 1772 阅读 · 0 评论