大数据
冰封之骑士
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建
1、zk 集群搭建 zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下: tickTime:CS通信心跳时间,Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime 以毫秒为单位,tic...原创 2019-09-30 18:17:08 · 182 阅读 · 0 评论 -
Hive简介及使用
Hive的简介 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内...原创 2019-10-08 14:35:28 · 343 阅读 · 0 评论 -
HBase简介及使用
HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。 Hbase的相关概念 主键RowKey 主键是...原创 2019-10-08 15:00:27 · 646 阅读 · 0 评论 -
Sqoop的简介及使用
Sqoop的介绍 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库 (例如 : MySQL ,Oracle ,Postgres等) 中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Sqoop的安装配置 解压 tar -zxvf sqoop-1.4.4.b...原创 2019-10-08 15:11:58 · 341 阅读 · 0 评论