Spark调优

Spark的调优是面试或者笔试考察的重点:总结下 1.开发调优: 原则一:避免创建重复的RDD。 原则二:尽可能复用同一个RDD。 原则三:对多次使...

2019-05-05 16:02:17

阅读数 24

评论数 0

05-分组函数

# 分组函数 # 常见的数据类型:数值型;字符型;日期型 # avg() / sum() : 只适用于数值型的变量。不适用于字符型 和日期型 SELECT AVG(salary),SUM(salary) FROM employees; # oracle:报错。 mysql:不报错,结果是0 S...

2019-04-30 17:44:55

阅读数 63

评论数 0

09-约束和分页

# 约束和分页 # 1. 约束(constraint) # 约束:对表中列(或字段)的强制规定 # 常见的约束: # 非空约束(not null) # 唯一性约束(unique) # 主键约束(primary key) # 外键约束(foreign key) # 检查约束(check) # 默认...

2019-04-30 17:43:59

阅读数 55

评论数 0

08-数据处理之增删改

# 数据处理之增删改 # 1. 插入数据( insert into ..) # 方式一:一条一条的添加 CREATE TABLE emp3( id INT, NAME VARCHAR(15), salary DOUBLE(10,2), hire_date DATE ); SELECT * FR...

2019-04-30 17:38:10

阅读数 160

评论数 0

07-创建和管理表

# 创建和管理表 # 显示已有的数据库 SHOW DATABASES; #使用指定的数据库 USE test; USE myemployees; #创建数据库 CREATE DATABASE temp; # 查看以后的数据库中的表 SHOW TABLES; # 常见的数据库对象都有哪些?...

2019-04-30 17:35:54

阅读数 126

评论数 0

06-子查询

# 子查询 #谁的工资比 Abel 高? #方式一: SELECT salary FROM employees WHERE last_name = 'Abel'; SELECT last_name,salary FROM employees WHERE salary > 1100...

2019-04-30 17:33:18

阅读数 51

评论数 0

05-分组函数

# 分组函数 # 常见的数据类型:数值型;字符型;日期型 # avg() / sum() : 只适用于数值型的变量。不适用于字符型 和日期型 SELECT AVG(salary),SUM(salary) FROM employees; # oracle:报错。 mysql:不报错,结果是0 S...

2019-04-30 17:31:19

阅读数 51

评论数 0

04-单行函数

# 单行函数 # 字符类型的函数 SELECT LOWER('ab c DEF'),UPPER('abc D EF') FROM DUAL; SELECT * FROM employees WHERE LOWER(last_name) = 'king'; # xxx worked for y...

2019-04-30 17:22:45

阅读数 28

评论数 0

03-多表查询

# 多表查询 #查询员工的id,姓名和部门名称(下面是错误的) #出现了笛卡尔集的错误:如果多表查询中,没有多表的连接条件,或多表的连接条件失效。 SELECT employee_id,last_name,department_name FROM employees,departments; # ...

2019-04-30 17:17:22

阅读数 45

评论数 0

02-过滤和排序数据

# 过滤和排序数据 # 返回在90号部门工作的所有员工的信息 SELECT * FROM employees #where 过滤条件; where 需要声明在from的后面 WHERE department_id = 90; SELECT employee_id,last_name,salar...

2019-04-30 17:14:38

阅读数 118

评论数 0

01-基本的SELECT语句

# 基本的SELECT语句 SELECT employee_id,last_name,email FROM employees; SELECT department_id,department_name FROM departments; # 查询表中的所有的列 SELECT * # ...

2019-04-30 17:09:27

阅读数 35

评论数 0

spark构建协同过滤ALS推荐模型

package com.erongda.bigdata.spark.mllib.rmd import com.erongda.bigdata.spark.ContantUtils import org.apache.spark.mllib.recommendation.{MatrixFactor...

2019-04-28 12:58:15

阅读数 43

评论数 0

Scala里面的排序函数的使用

https://blog.csdn.net/u010454030/article/details/79016996

2019-04-26 14:18:13

阅读数 24

评论数 0

Scala课程07

核心内容: 1、Scala辅助构造器实战 2、Scala主构造器实战 1、Scala辅助构造器实战 (1)在Java当中,构造函数的名字和类的名字一样,但是在Scala中,构造函数的名字为this (2)任何辅助构造函数必...

2019-04-17 16:13:10

阅读数 18

评论数 0

Spark中foreachRDD、foreachPartition和foreach解读

foreachRDD、foreachPartition和foreach的不同之处主要在于它们的作用范围不同,foreachRDD作用于DStream中每一个时间间隔的RDD,foreachPartition作用于每一个时间间隔的RDD中的每一个partition,foreach作用于每一个时间间隔...

2019-04-17 12:52:24

阅读数 18

评论数 0

flink的批处理和流处理

批处理: import org.apache.flink.api.scala.ExecutionEnvironment /** * 批处理 * 需求:读取一个目录下的文件信息统计文件里面单词出现的总次数 */ object BatchWordCount { def main...

2019-04-17 10:40:28

阅读数 21

评论数 0

RDD基本操作

1.RDD转换 RDD的所有转换操作都不会进行真正的计算 1.1单个RDD转换操作 # 创建测试RDD val rdd = sc.parallelize(Array("hello world","java","scala easy&q...

2019-04-16 15:27:40

阅读数 23

评论数 0

二叉查找树和二叉堆

A. 二叉查找树(Binary Search Tree),又称为有序二叉树,排序二叉树,满足以下性质: 1)没有键值相等的节点。 2)若左子树不为空,左子树上节点值均小于根节点的值。 3)若右子树不为空,右子树上节点值均大于根节点的值。   二叉查找树中对于目标节点的查找过程类似与有序数组...

2019-04-14 10:14:43

阅读数 30

评论数 0

Scala课程06

核心内容: 1、Scala类的使用实战 2、getter与setter实战 3、对象私有属性 1、Scala类的使用实战 (1)Scala中的类默认是public级别的,如果用户添加public修饰符,将会报错 (2)Sc...

2019-04-12 20:57:24

阅读数 21

评论数 0

Linux Centos7.2根目录扩容实操(lvm模式)

1.通过创建新分区进行扩容 Linux虚拟机扩展磁盘空间 在VMware Workstation Pro 新建了虚拟机,需要进行扩容操作。 1-右键对应虚拟机,进入设置,进入硬件页,选择硬盘,点击右边的扩展按钮,选择需要的大小,保存。 这时在虚拟机状态栏中可以看到大小已经变了,但是注意,并...

2019-04-10 20:55:15

阅读数 22

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭