2021年01月_ ゞ c

原创 Spark Core

文章目录Spark Core第1章 Spark概述1.1 Spark是什么1.2 Spark and Hadoop1.3 Spark or Hadoop1.3.1 Hadoop MapReduce缺点：1.4 Spark 核心模块第2章 Spark 快速上手2.1 WordCount第3章 Spark运行环境3.1 Spark安装3.2 Spark运行模式第4章 Spark运行架构4.1 运行架构4.2 核心组件4.2.1 Driver4.2.2 Executor4.2.3 Master & W

2021-01-14 14:38:32 1452

原创 Spark集成Hive和mysql

文章目录一、Spark集成Hive二、Spark集成mysql一、Spark集成Hive1、将Hive的配置文件拷贝到Spark的配置文件目录下，软拷贝硬拷贝皆可以ln -s /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark244//conf/hive-site.xml2、拷贝jar包cp /opt/software/hadoop/hive110/lib/mysql-connector-java-

2021-01-10 22:39:14 220

原创 SparkSQL（一）RDD && Dataset && DataFrame

一、SQL on Hadoop1.1 SQL是一种传统的用来进行数据分析的标准 Hive是原始的SQL-on-Hadoop解决方案 Impala：和Hive一样，提供了一种可以针对已有Hadoop数据编写SQL查询的方法 Presto：类似于Impala，未被主要供应商支持 Shark：Spark SQL的前身，设计目标是作为Hive的一个补充 Phoenix：基于HBase的开源SQL查询引擎1.2 Spark SQL前身Shark的初衷：让Hive运行在Spark之上

2021-01-07 23:30:34 472

原创 Java连接Mysql Hive

文章目录Java连接Mysql一、BaseConfig类二、BaseDao类三、Result类Java连Hive一、BaseConfig类二、BaseDao类三、Result类Java连接Mysql一、BaseConfig类import java.sql.Connection;import java.io.FileReader;import java.sql.DriverManager;import java.sql.SQLException;import java.util.Properti

2021-01-10 23:20:37 275

原创 Scala中类定义&&构造器

Scala面向对象中有这几个概念：类、抽象类、单例对象、特质、样例类类和Java中类似点：类通过class关键字定义类通过new关键字创建实例类拥有成员变量和方法类的成员默认为public，也支持private、protected，Scala中没有public这个关键字和Java中不一样之处：类中无法定义静态成员变量和方法(Java中有static)类无需明确定义构造方法，通过构造参数列表声明为类的一部分Java中访问修饰符ModifierClass（自己）Package

2021-01-02 18:44:45 219

原创 Scala中类的继承

类的继承Scala使用“extends”关键字实现继承子类重写父类方法必须使用“override”关键字package oopclass XiaoXueSheng extends Student { // 重写Student父类中的study方法 override def study() = { println("小学生不爱学习") } def play() = { println("小学生喜欢打游戏") }}object Test02{ de

2021-01-02 18:41:01 363

原创 Scala中函数&&方法的声明

函数&&方法的声明object Test1 extends App { // 定义一个函数 def square(x:Int) = { println("传入的值是："+x) val res= x*x println(res) } square(5) // 函数已经被调用，但是函数值没有被打印出来 // 变形 // 返回值类型为Unit的时候 = 可以不写 def printName(x:String) = { prin

2021-01-02 18:39:23 503

原创 Scala中抽象类&&单例对象&&伴生类

抽象类（abstract）抽象类可包含未实现的方法，即抽象方法抽象类无法实例化抽象类使用“abstract”关键字修饰(建议都写上) 子类重写父类抽象方法时，“override”关键字可选子类重写父类非抽象方法，“override”关键字必写父类package test// 定义一个抽象类，使用abstract修饰abstract class Shape { def draw() def write() ={ println("写代码") }}子类

2021-01-02 18:36:18 153 1

原创 Scala中Trait

特质（trait）Scala中没有接口（interface）的概念特质用于在类之间共享程序接口和字段，类似Java接口特质是字段和方法的集合，可以提供字段和方法实现类和单例对象都可以扩展特质（extends）特质不能被实例化，因此没有构造参数，类似Java接口特质使用“trait”关键字定义实现特质中的方法使用“override”package test02// 特质(类比于接口)// 创建一个Pet特质trait Pet { val name:String def cry(

2021-01-02 18:30:10 205

原创 scala循环、数据类型

package scala12_30object Test1 extends App { println("----var && val -----") // var val val a = 19 println(a) var b = 10 b =19 println(b) println("------变量的创建-------") // 变量的创建 val a1:Int = 1 val c:String = "chenjun"

2021-01-02 18:29:08 122

weixin_50034171的博客