2021年09月_只是甲

原创 Java-Spark系列8-Spark streaming整合Kafka

文章目录一. Spark streaming整合Kafka概述1.1 Maven配置1.2 创建Direct Stream1.3 定位策略1.4 消费者的策略1.5 创建RDD1.6 获得Offsets1.7 存储 Offsets1.8 检查点1.9 Kafka自身1.10 自身数据存储二.Spark Streaming整合Kafka实战2.1 Maven配置2.2 代码2.3 测试参考:一. Spark streaming整合Kafka概述1.1 Maven配置对于使用SBT/Maven项目定义的S

2021-09-30 15:46:47 19862

原创 Java-Spark系列7-Spark streaming介绍

文章目录一.Spark streaming介绍1.1 Spark streaming简介1.2 Spark 与storm区别1.3 一个简单的例子二.Spark Streaming的组件介绍2.1 Streaming Context2.2 Dstream(离散流)2.1 Receiver2.2 数据源2.3 可靠性2.4 Dstream的操作2.5 缓存2.6 Checkpoint三.一个简单的测试用例3.1 linux服务器安装nc服务3.2 Java spark代码参考:一.Spark stream

2021-09-27 15:50:44 19471

原创 Java-Spark系列6-Spark SQL编程实战

文章目录一.Spark DataFrame概述1.1 创建DataFrame1.1.1 通过json文件创建DataFrame1.1.2 通过CSV文件创建DataFrame1.1.3 通过hive table创建DataFrame1.1.4 通过jdbc数据源创建DataFrame二.Spark SQL实战2.1 DataFrame的统计信息2.2 DataFrame的select操作2.3 DataFrame对列的操作2.3 过滤数据2.4 简单的聚合操作2.4.1 简单聚合2.5 自定义函数2.6 表

2021-09-26 18:13:48 23625

原创 Java-Spark系列5-Spark SQL介绍

文章目录一.Spark SQL的概述1.1 Spark SQL 来源1.2 从代码看Spark SQL的特点1.3 从代码运行速度看来看Spark SQL二.Spark SQL数据抽象2.1 DataFrame2.2 Dataset三.Spark SQL 操作数据库3.1 Spark SQL操作Hive数据库3.1.1 创建DataFrames3.1.2 以编程方式运行SQL查询3.2 Spark SQL操作MySQL数据库参考:一.Spark SQL的概述1.1 Spark SQL 来源Hive是目

2021-09-26 18:06:37 21306

原创 Java-Spark系列4-spark内核概述

文章目录一.Spark核心组件1.1 Cluster Manager(Master,ResourceManager)1.2 Worker(worker,NodeManager)1.3 Driver1.4 Executor1.5 Application二.Spark on Yarn3.1 Yarn的基本架构3.2 Spark on Yarn3.2.1 YARN-Cluster模式3.2.2 YARN-Client模式3.3 Spark Job参考:一.Spark核心组件SparkContext将资

2021-09-24 14:46:31 19360

原创 Java-Spark系列3-RDD介绍

文章目录一.RDD概念1.1 RDD的特点1.2 RDD的核心属性二.RDD概述2.1 准备工作2.2 初始化spark2.3 RDD数据集2.3.1 并行集合2.3.2 外部数据集三.操作RDD3.1 基础知识3.2 将函数传递给Spark3.3 理解闭包3.4 使用键值对3.5 常见Transformations操作及Actions操作四.RDD实例4.1 初始化RDD4.1.1 通过集合创建RDD4.1.2 通过文件创建rdd4.2 RDD的map操作4.3 RDD使用函数参考:一.RDD概念R

2021-09-24 14:38:45 20585

原创 Java-Spark系列2-quick-start

文章目录一.idea搭建maven工程二.Maven编译Java应用程序2.1 Java代码三.导出maven工程四.运行jar程序参考:一.idea搭建maven工程前面已经有博客介绍idea下搭建maven工程了，这里略过，主要介绍下pom.xml的配置。<project> <groupId>edu.berkeley</groupId> <artifactId>simple-project</artifactId> <

2021-09-22 16:17:42 19644

原创 Java-Spark系列1-spark概述

文章目录一.大数据技术栈二.Spark概述2.1 MapReduce框架局限性2.2 Hadoop生态圈中的各种框架2.3 Spark2.3.1 Spark的优势2.3.2 Spark特点2.3.3 SPRAK 2 新特性一.大数据技术栈如下图，当前的一个大数据技术栈:如上所示:数据采集，一般通过Sqoop或Flume将关系型数据库数据同步到hadoop平台。底层存储，采集到的数据存储在hdfs上，分布式进行存储。资源调度，hadoop的资源调度就是yarn，用来协调各个集群节点的资源。底

2021-09-22 15:59:40 24868

原创 Java基础系列36-Java操作MySQL数据库

文章目录一. 环境准备1.1 MySQL连接驱动下载1.2 MySQL数据库安装1.3 idea搭建Java工程二.码代码参考:一. 环境准备工具：idea、MySQL、MySQL连接驱动：mysql-connector-java-5.1.45.jar1.1 MySQL连接驱动下载一般是在Oracle官方网站进行下载:https://downloads.mysql.com/archives/c-j/要选择对应的版本，我这边选择 5.1.49版本1.2 MySQL数据库安装MySQL数据库之

2021-09-17 14:33:41 19785

原创 Java基础系列35-IO流

文章目录一.IO流概述二. 字节流2.1 FOS与FIS2.2 FOS写数据的三种方式2.3 FOS如何实现换行和追加写数据2.4 FOS写数据加入异常处理2.5 FIS读数据方式1一次读取一个字节2.6 FIS读数据方式2一次读取一个字节数组2.7 字节流练习之复制文本文件2.8 字节流练习之复制图片三. 字节缓冲区流3.1 概述3.2 四种方式复制图片效率测试四. 转换流4.1 什么是编码表4.2 String类的编解码4.3 字符流Stream的编解码(写入文件)五. 字符流5.1 复制Java文件5

2021-09-16 11:18:42 20088

原创 Java基础系列34-file类别

文章目录一. File类的概述二. File类的方法2.1 创建2.2 删除2.2.1 删除文件2.2.2 遍历File目录，删除所有目录下文件参考:一. File类的概述File ：文件和目录路径名的抽象表示形式也就是说文件和目录（文件夹）是可以通过File封装成对象的File类的构造方法//a. 通过将给定路径名字符串转换为抽象路径名来创建一个新 File 实例。File(String pathname)//b. 根据 parent 路径名字符串和 child 路径名字符串创建一个新

2021-09-16 10:54:05 19654

原创 Java基础系列33-异常

文章目录一.异常概述二. JVM默认处理异常方式三. 编译时异常&运行时异常区别四. 异常处理1：try catch五. 异常处理2：throws参考:一.异常概述异常（Exception类）：就是程序出现了不正常的情况。下面举例：【ArithmeticException】：当出现异常的运算条件（例如一个整数“除以零”）时，抛出此异常（此类的一个实例）。常见的异常有：IndexOutOfBoundsException : 数组越界异常，访问的元素超出了数组范围NullPointe

2021-09-15 17:14:31 19790

原创 Java基础系列32-数组、集合练习

文章目录一. 练习1 int数组去重排序二. 练习2 字符串去重三.练习3 生成不重复随机数字四. 练习4 生成不重复随机字符串五. 练习5 统计字符出现次数六. 练习6 分割字符串并计数参考:一. 练习1 int数组去重排序需求：分析以下需求，并用代码实现： 1. 定义一个长度为10的int数组,并存入10个int类型的数据,其中有一些数据是重复的 2. 利用集合的知识对数组进行去重,产生新数组,不能改变数组中原来数字的大小顺序 3. 打印新数组中的内容按照以下描述完成类的定义。

2021-09-15 15:06:27 15597 1

原创 Java基础系列31-双列 Map集合、Properties集合

文章目录一. Map集合1.1 创建Map集合对象并添加元素1.2 Map集合的成员方法1.3 Map集合的获取功能二.Map集合遍历2.1 Map集合的两种遍历方式图解2.2 Map集合的遍历之键找值2.3 Map集合的遍历之键值对对象找键和值三. HashMap集合案例3.1 练习1 HashMap[String, Student]3.2 练习2 HashMap[Student,String]3.3 练习3 ArrayList[HashMap[String,String]]3.4 练习4 HashMap

2021-09-14 17:52:26 15440

原创 MySQL 之Server SQL Modes

文章目录MySQL SQL modes概述一. 设置SQL模式二. 最重要的SQL模式三. 完整的SQL模式列表3.1 ALLOW_INVALID_DATES3.2 ANSI_QUOTES3.3 ERROR_FOR_DIVISION_BY_ZERO3.4 HIGH_NOT_PRECEDENCE3.5 IGNORE_SPACE3.6 NO_AUTO_VALUE_ON_ZERO3.7 NO_BACKSLASH_ESCAPES3.8 NO_DIR_IN_CREATE3.9 NO_ENGINE_SUBSTITUTI

2021-09-01 14:47:26 15611

只是甲的博客