![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
Karida122
科技改变世界。
展开
-
HIVE学习笔记----(基础命令行语句)
ctrl+L !clear ---- 清屏show tables ----查看数据仓库中的表desc table_name -----查看数据表结构dfs -ls /目录 ----查看HDFS上的文件dfs -lsr /目录 ----以递归的方式查看目录下的文件包括子目录!命令 ----在hive下执行操作系统下的命令--...原创 2018-07-25 16:44:47 · 297 阅读 · 0 评论 -
Storm学习笔记----Storm组件、结构、运行流程
Strom是分布式计算框架 主节点是Nimbus,只负责整体分配工作,不具体干活;从节点是Supervisor,直接管理干活的worker;原创 2018-08-02 14:56:40 · 227 阅读 · 0 评论 -
HIVE学习笔记----JAVA客户端操作
JDBC客户端操作--启动Hive远程服务 hive --service hiveserver Hive的JDBC客户端操作打开Eclipse,新建一个JAVA项目,新建一个lib目录,将hive安装目录下的jdbc.jar文件拷贝进来,加载进path路径;新建JDBCUtils类,做一些基础定义;private static String driver = " 填...原创 2018-07-31 16:40:17 · 771 阅读 · 0 评论 -
HIVE学习笔记----子查询
注意问题: 语法中的括号 合理的书写风格 hive中只支持WHERE和FROM子句中的子查询 主查询和子查询可以不是同一张表,只要子查询查询结果可以被主查询使用即可 子查询中的空值问题,如果子查询查询结果返回空值,不能使用‘not in’ ,而是在子查询中限定结果非空 ...原创 2018-07-31 16:07:42 · 876 阅读 · 0 评论 -
HIVE学习笔记----表连接
等值连接 非等值连接 外连接 通过外连接可以将对于连接条件不成立的记录依然包含在最后的结果中 左外连接 left outer join ----左表为全记录,不符合条件的计数为0 右外连接 right outer join ----右表为全记录,不符合条件的计数为0自连接 通过表的别名将同一张表视为多张表...原创 2018-07-31 16:00:47 · 195 阅读 · 0 评论 -
HIVE学习笔记----hive函数的使用
原创 2018-07-31 15:50:07 · 169 阅读 · 0 评论 -
HIVE学习笔记----数据导入
使用load语句 load data [local] inpath 'filepath' [overwrite] ------(写local是为了表示从操作系统导入,不写则表示从HDFS导入) -----(写over...原创 2018-07-25 20:31:39 · 281 阅读 · 0 评论 -
HIVE学习笔记----hive安装及管理
嵌入模式 元数据信息被存储在hive自带的Derby数据库中 只允许创建一个连接,单一用户操作 多用于Demo本地模式 元数据被存储在MYSQL数据库中 mysql数据库与HIVE运行在同一台物理机上 多用于开发和测试,支持多连接远程模式 HIVE (运行在不同...原创 2018-07-25 16:45:46 · 139 阅读 · 0 评论 -
HIVE学习笔记----体系结构、执行过程
- hive的元数据 hive将元数据存储在数据库中(metadata),支持mysql、derby、oracle等数据库,默认derby hive中的元数据包括表的名、列、属性等、分区、表属性、表数据所在目录等 -hive执行过程 解释器、编译器、优化器等完成HQL查询语句从语法分析、编译、优化、查询计划的生成 生成的查询计划是存储在HDFS中,并...原创 2018-07-25 16:45:35 · 188 阅读 · 0 评论 -
HIVE学习笔记----数据存储
-基于HDFS -没有专门的数据存储格式 -存储结构主要包括:数据库、文件、表、视图 -可以直接加载文本文件(txt csv等) -创建表时,指定Hive数据的列分隔符与行分隔符 表: 内部表 /分区表 /外部表 /桶表 -内部表:与数据库中的Tale在概念上类似; 每一个Table在hive中都有一个相应的目录存储数...原创 2018-07-25 16:45:19 · 147 阅读 · 0 评论 -
HIVE学习笔记----数据类型
基本数据类型: -tinyint/smallint/int/bigint:整数类型 -float/double:浮点数类型 -boolean:布尔类型 -string:字符串类型 复杂数据类型: -Array 数组类型 由一系列相同数据类型的元素组成 -Map 集合类型 包含key->value键值对 -Struct 结构类型-----数组和结构类型的...原创 2018-07-25 16:45:07 · 160 阅读 · 0 评论 -
HIVE学习笔记----hive的管理(Web界面方式)
-启动方式:#hive --service hwi &默认端口9999当提示如下错误时:需要下载hive源代码包,编译web管理工具下载解压后,进入源代码目录下,打包成功后可以部署,拷贝至lib目录下,修改hive-site.xml配置文件,查看hive帮助文档,添加对应参数,监听地址、监听端口、以及war包,重启web网页管理工具,出现如下界面时表示成功...原创 2018-07-25 16:45:58 · 6975 阅读 · 0 评论 -
Storm学习笔记----stormAPI基本概念
作业=Topology=拓扑 --------原创 2018-08-02 17:42:29 · 238 阅读 · 0 评论