大数据
文章平均质量分 75
can_chen
自知无知,永远求知!
展开
-
Hive学习笔记
文章目录1. Hive数据库相关命令2. Hive表相关命令3. Hive表导入数据相关命令4. Hive分区相关命令5. Hive的三种文件存储格式6. 关于Hive表的更新操作7. Hive的数据类型1. Hive数据库相关命令创建数据库,并指定在HDFS上的目录:create database ssb location '/user/hive/ssb'; (最后的ssb代表数据库名称)删除不为空的数据库(default默认数据库无法删除):drop database ssb cascade;原创 2021-09-23 14:20:01 · 330 阅读 · 0 评论 -
Presto 分布式SQL查询引擎
文章目录Presto的介绍Presto的数据模型通过Presto客户端查询Presto命令Presto的架构Java程序访问PrestoPresto的介绍Presto是Facebook开发的分布式SQL查询引擎,用来进行高效、实时的数据分析;Presto可以连接Hive、Mysql、Kafka等多种数据源,最常用的是通过Presto连接Hive数据源,可以解决Hive的MapReduce查询耗时太慢的问题;Presto是一个基于内存的计算引擎,它本身不存储数据,通过丰富的Connector获取第三原创 2021-09-17 01:19:08 · 2171 阅读 · 0 评论 -
大数据组件相关操作命令
文章目录1.【HDFS】2.【Hive】1.【HDFS】将本地文件上传到HDFS:hadoop dfs -put a.txt /data将HDFS的文件下载到本地:hadoop dfs -get /a.txt .2.【Hive】本地文件导入Hive表:load data local input ‘/home/hive_test/a.txt’ into table hive_studentHDFS文件导入Hive表:load data input ‘/data/a.txt’ into table原创 2021-08-19 01:01:19 · 215 阅读 · 1 评论 -
kafka学习笔记
一、kafka常用命令注:kafka默认端口号9092,zookeeper默认端口号2181;由于kafka依赖于zookeeper,这里假设zookeeper和kafka都安装在localhost上;hello代表主题名,con-1代表消费者组名)启动停止命令启动kafka:bin/kafka-server-start.sh -daemon config/server.properties停止kafka:bin/kafka-server-stop.sh主题相关命令创建topic:bi原创 2021-07-17 01:13:58 · 833 阅读 · 1 评论