大数据
IT新手村小蒋
遇见的都是天意——拥有的都是幸运
展开
-
Hive的配置和一些案例
Hive 元数据配置到 MySql: 在 /opt/module/hive/lib/ 中添加 mysql-connector-java-5.1.27-bin.jar 包 在 /opt/module/hive/conf 目录下创建 hive-site.xml 并添加一下内容: vi hive-site.xml<?xml version="1.0"?><?xml-st...原创 2019-09-16 10:10:29 · 216 阅读 · 0 评论 -
HBase 命令
HBase 基本命令: 1、进入 HBase 客户端: hbase shell 如果出现 jdk 的警告,则对 conf 下的 hbase-env.sh 文件中的 第 45-47 行进行注释: 2、查看帮助命令 hbase(main)> help 3、查看当前数据库中有那些表 hbase(main)> list 4、查看当前数据库中有哪些命名空...原创 2019-09-21 23:38:05 · 287 阅读 · 0 评论 -
HBase 集群部署
HBase 部署: 1、首先保证 Zookeeper 集群的正常部署,并启动: zkServer.sh start 2、Hadoop 集群的正常部署并启动: start-dfs.sh start-yarn.sh 3、HBase 解压: 将 HBase 包解压到指定文件:tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/mod...原创 2019-09-21 23:32:15 · 238 阅读 · 0 评论 -
HBase
HBase:HBase 简介: HBase 是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。HBase 基于列的而不是基于行的模式。 大:上亿行、百万列 面向列:面向列的存储和权限控制,列独立检索 稀疏:对于为空的列,并不占用存储空间,因此,表设计得非常的稀疏HBase 角色:HMaster: 功能: 1、监控 RegionServe...原创 2019-09-21 23:28:28 · 187 阅读 · 0 评论 -
HBase 原理
HBase:HBase 简介: HBase 是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。HBase 基于列的而不是基于行的模式。 大:上亿行、百万列 面向列:面向列的存储和权限控制,列独立检索 稀疏:对于为空的列,并不占用存储空间,因此,表设计得非常的稀疏HBase 角色:HMaster: 功能: 1、监控 RegionServe...原创 2019-09-19 15:37:41 · 159 阅读 · 0 评论 -
Sqoop在一些常用命令及参数
常用命令列举 这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。序号命令类说明1importImportTool将数据导入到集群2exportExportTool将集群数据导出3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar4create-hiv...原创 2019-09-16 10:22:09 · 524 阅读 · 0 评论 -
Sqoop的导入导出
Sqoop 导入数据: 在 Sqoop 中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用 import 关键字。RDBMS 到 HDFS: RDBMS:关系数据库管理系统 全部导入:#!/usr/bin/env bashsqoop import \--connect jdbc:mysql://bigd...原创 2019-09-16 10:20:44 · 216 阅读 · 0 评论 -
Sqoop的原理与安装
Sqoop 简介: Apache Sqoop™ 是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。 请注意,1.99.7与1.4.6不兼容,且没有特征不完整,它并不打算用于生产部署。Sqoop 原理: 将导入或导出命令翻译成 mapreduce 程序来实现...原创 2019-09-16 10:19:57 · 229 阅读 · 0 评论 -
Hive的查询与函数
基本查询:算数运算符:运算符描述A+BA和B 相加A-BA减去BA*BA和B相乘A/BA除以BA%BA对B取余/模A&BA和B按位取与A|BA和B按位取或A^BA和B按位取异或~AA按位取反常用函数: 1、求行数(count):hive (jds)> select count(1) ...原创 2019-09-16 10:16:08 · 430 阅读 · 0 评论 -
Hive的数据类型与DML和DDL
Hive 数据类型:基本数据类型:Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型,true或者falseTRUE ...原创 2019-09-16 10:13:01 · 193 阅读 · 0 评论 -
Azkaban
Azkaban: 一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的 key:value 对的方式,通过配置中的 dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。端口号为:8443Azkaban 特点: 1)兼容任何版...原创 2019-09-22 18:05:25 · 320 阅读 · 0 评论