Hive
Regan_Hoo
这个作者很懒,什么都没留下…
展开
-
Hive_命令
创建表Hive> CREATE TABLE pokes (foo INT, bar STRING); 创建一个新表,结构与records表一样hive> create table new_table like records;创建分区表hive> create table logs(ts bigint,line string) partitioned by (dt String,country原创 2017-11-28 15:25:07 · 425 阅读 · 0 评论 -
Hive_应用设计
理解Hive① Hive类似于HDFS客户端,Hive所有表数据均存放在HDFS中,元数据信息存放于Mysql。Hive表结构设计,实际设计的是对HDFS数据的访问方式,或者数据组织方式。对Hive表数据的操作最终以MapReduce任务的形式提交到集群,并返回任务执行的结果。② Hive作为架构于HDFS之上的数据操作框架,其分布式特性来自于HDFS和MapReduce而并非自身,因此,Hive以原创 2017-11-30 09:16:56 · 757 阅读 · 0 评论 -
Hive_配置参数
hive.jobname.length 当前 job name 的最大长度,hive 会根据此长度省略 job name 的中间部分。 默认值:50 hive.jar.path 通过单独的 JVM 提交 job 时,hive_cli.jar 所在的路径 默认值:” hive.aux.jars.path 各种由用户自定义 UDF 和 SerDe 构成的插件 jar原创 2017-11-30 10:35:44 · 870 阅读 · 0 评论 -
Hive_表操作
Hive架构 The Hive metadata store (or called metastore) can use either embedded,local, or remote databases. Hive servers are built on Apache Thrift Server technology.Hive适用derbe作为默认元数据存储(仅支持一个客户端在线),以下方原创 2017-11-30 10:05:47 · 500 阅读 · 0 评论 -
Hive_基础
Hive是什么Hive是一个构建在Hadoop上的数据仓库框架,提供了一系列用于ETL的工具 Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行 Hive的表其实就是HDFS的目录,按表名把文件夹分开。如果是分区表,则分区值是子文件夹,可以直接在M/R Job里使用这些数据。 设计目的: 让精通SQL(但Java编程相对较弱)的分析师能够以类SQL的方式查询存原创 2017-11-30 14:03:02 · 361 阅读 · 0 评论 -
Hive_Spark相关错误
【原文】https://www.cnblogs.com/qifengle-2446/p/6424377.html 一. 经验Spark Streaming包含三种计算模式:nonstate .stateful .windowSpark一切操作归根结底是对RDD的操作kafka的log.dirs不要设置成/tmp下的目录,貌似tmp目录有文件数和磁盘容量限制ES的分片类似kafka的part转载 2017-11-30 11:51:24 · 1901 阅读 · 0 评论