![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
lucasmaluping
这个作者很懒,什么都没留下…
展开
-
HIVE-on-Spark
hive底层是通过MR进行计算,将其改变为SparkCore来执行配置步骤1.在不是高可用集群的前提下,只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可2.将hive安装路径下的hive-site.xml拷贝到spark的配置conf配置文件目录下即可注意:若是高可用:需要将hadoop安装路径下的core-site,xml和hdfs...原创 2019-11-20 15:04:33 · 338 阅读 · 0 评论 -
Hive
1.什么是hive1.1.hive基本思想Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL操作(CRUD)功能。1.2.为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大 Spark为什么要使用Hive操作接口采用类SQL语法,提供快速开...原创 2020-04-09 13:15:43 · 328 阅读 · 0 评论 -
Spark SQL
创建DataFrames1)spark-shell版本spark中已经创建好了SparkContext和SQLContext对象2)代码:spark-shell --master spark://hadoop1:7077 --executor-memory 512m --total-executor-cores 2//创建了一个数据集,实现了并行化val seq= Seq((“1”,“...原创 2019-11-20 08:32:21 · 436 阅读 · 0 评论