- 博客(4)
- 收藏
- 关注
RSS订阅原创 linux下spark安装安装及环境配置
spark单机安装及环境配置安装前准备：安装spark之前必须先下载jdk，并完成jdk的环境配置，hadoop可以选择安装，不安装hadoop，spark也可以正常运行1.首先准备scala安装包，可以再官网上下载scala官网：https://www.scala-lang.org/download/安装scala的版本：scala-intellij-bin-2018.2.12.将scala通过xftp传入linux系统下，存放到/opt目录下3.将spark压缩包解压到指定的soft目录
2020-09-21 14:36:18
1862
原创 Scala中的 match case模式匹配
Scala中提供的match case匹配模式类似于Java中的switch case：1.match case能够处理所有的类型2.match case不需要break，java中的swith case如果没有break称为贯穿现象3.match case 能够生成值下面介绍几种常用的match case 匹配模式：1.基础语法： def abc(x:Int)= { x match { //x为方法传入的参数，即变量 case 1 => x + 10
2020-09-16 16:06:19
1243
原创 Hadoop集群下的Hive安装及配置
首先简单介绍一下Hive：Hive是一个构建在Hadoop之上的数据仓库软件,它可以使已经存储的数据结构化，它提供类似sql的查询语句HiveQL对数据进行分析处理。 Hive将HiveQL语句转换成一系列成MapReduce作业并执行。用户可以很方便的使用命令行和JDBC程序的方式来连接到hive。 目前，Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两中分布式计算引擎。常用于离线批处理。为什么要用Hive？简单来说，Hive主要就是通过写SQL语句来实现Hadoop分布式框
2020-09-05 23:10:08
2320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人