2019年12月_爱纹身的big数据

12月 11月

原创 Hbase篇之面试题

1.HBase的基本介绍a.Hbase是建立在hdfs之上的一个数据库，b.不支持join等SQL复杂操作c.支持的数据类型：byte[]，d.依靠横向扩展，一个表可以有上十亿行，上百万列。e.面向列(族)的存储和权限控制 f.对于为空(null)的列，并不占用存储空间，是一个稀疏表。2.HBASE的适用场景海量数据、精确查询、快速返回海量数据：指的是数据量的背景精确查询：业...

2019-12-17 08:23:13 970

原创 Hbase详细安装步骤（Hbase入门第二篇）

HBase的集群环境搭建注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.c...

2019-12-11 11:33:56 1256

原创 Hbase入门介绍（Hbase入门第一篇）

1、HBase基本介绍简介hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据...

2019-12-11 10:39:23 786

原创 Hbse启动时节点时间不同步导致节点的HRegionServer不能启动

三个节点时间间隔为3分钟时间不同步

2019-12-11 10:05:02 732

原创 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing （Hbase报错）

Hbase报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案：主控形状正在初始化，检查zookeeper的状态，然后重新连接hbase shell进入zookeeper的bin目录执行：./zkServer.sh status查看状态然后重新连接hbase shell如...

2019-12-11 09:56:09 1203

原创 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet（Hbase报错）

Hbase报错:ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet报错原因：这种情况是由于不正常的关闭hadoop，从而导致hadoop进入了安全模式产生的原因。解决方案：让hadoop退出安全模式进入hadoop下的bin hdfs dfsadm...

2019-12-11 09:53:00 1199

原创 Apache Flume详细介绍及Flume的安装部署

1．概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类...

2019-12-10 15:17:04 532

原创 Sqoop安装详细步骤（小白也看的懂）

安装sqoop的前提是已经具备java和hadoop的环境。最新稳定版： 1.4.6配置文件修改：进入这个目录修改sqoop-env-template.sh文件名改为 sqoop-env.sh mv sqoop-env-template.sh sqoop-env.sh编辑文件：vi sqoop-env.sh先将前面的# 删除掉在修改加入mysql的jdbc驱...

2019-12-02 11:16:00 1763