hive
lucasmaluping
这个作者很懒,什么都没留下…
展开
-
HIVE-on-Spark
hive底层是通过MR进行计算,将其改变为SparkCore来执行 配置步骤 1.在不是高可用集群的前提下,只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可 2.将hive安装路径下的hive-site.xml拷贝到spark的配置conf配置文件目录下即可 注意: 若是高可用:需要将hadoop安装路径下的core-site,xml和hdfs...原创 2019-11-20 15:04:33 · 358 阅读 · 0 评论 -
Hive
1.什么是hive 1.1.hive基本思想 Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL操作(CRUD)功能。 1.2.为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 Spark 为什么要使用Hive 操作接口采用类SQL语法,提供快速开...原创 2020-04-09 13:15:43 · 339 阅读 · 0 评论 -
Spark SQL
创建DataFrames 1)spark-shell版本 spark中已经创建好了SparkContext和SQLContext对象 2)代码: spark-shell --master spark://hadoop1:7077 --executor-memory 512m --total-executor-cores 2 //创建了一个数据集,实现了并行化 val seq= Seq((“1”,“...原创 2019-11-20 08:32:21 · 445 阅读 · 0 评论