spark-shell与spark-sql的访问hive

1.spark-shell的使用: 安装完spark之后,将spark/bin的路径配置到本地文件,即可不需要进入spark/bin目录下启动任务 1)直接打开,运行以下命令会发现无法访问hive表的数据: spark-shell --master local[2] spark.sql(...

2018-11-22 23:44:10

阅读数 164

评论数 0

SparkSession的使用

简单的来说,SparkSession是Spark2.0版本中SparkContext更好用的接口 package com.imooc.spark import org.apache.spark.sql.SparkSession /** * @author lihanwen * Spar...

2018-11-22 23:16:17

阅读数 51

评论数 0

SparkContext任务本地开发与服务器运行

正确启动spark的本地模式与standalone模式之后,我们进入spark项目的开发。 1.本地开发: 在IDEA中新建一个maven工程: 1)maven基础坐标如下: <groupId>com.imooc.spark&amp...

2018-11-20 22:37:16

阅读数 61

评论数 0

hive中的map join

本文主要讲述一下自己在hive中使用map join遇到的一些问题。语言过于直白,请谅解 1.什么是map join? map join主要是在关联的时候使用,hive开启map join后可以将关联的小表放入内存中去执行,以此来提高脚本的运行速度   2.map join如何设置? ...

2018-11-18 22:51:30

阅读数 34

评论数 0

Spark基础之--启动local与standalone模式

我们得到编译好的spark压缩包之后,进行解压;随后进入spark文件夹,获取到spark的路径: /home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0 为了后续使用方便,我建议将spark的路径添加到本地配置(~/.bash_profile) exp...

2018-11-06 22:20:51

阅读数 276

评论数 0

hive中max函数无法区分字符串类型的数字

问题描述:需要针对版本号app_version如:6.14.2,6.7.1,10.2.1进行取最大值   原先方法:max(app_version)   结论:失败 原因:hive中使用max将会默认对两个字符串从左至右挨个进行比较,即进行第三位比较时发现:“1&lt...

2018-10-24 01:42:14

阅读数 635

评论数 0

CentOS 7下静态IP配置的一些坑

写在前面:请大神绕道,本人菜鸡,要不是想尝鲜爽一爽7,根本不会遇到这些神坑。虽然不难,但菜鸡的我还是搞了一晚上……真的哭出声来…… 1、创建虚拟机 这个地方我就不赘述了,要是不会……额,百度一波吧 2、配置静态IP: 7不同于6,图像化界面还是做得不错滴,下面请看图 然后进入点击右下角的小齿轮...

2017-10-26 18:25:31

阅读数 2220

评论数 0

集群时间点同步及完全分布式搭建

2017-10-16 21:11:26

阅读数 151

评论数 0

虚拟机克隆及联网

2017-10-12 20:58:49

阅读数 151

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭