- 博客(37)
- 资源 (24)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hive基本介绍
Hive基本概念hive简介Hive：由Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。Hive本质将 HQL 转化成MapReduce 程序（1）Hive 处理的数据存储在 HDFS（2）Hive 分析数据底层的实现是 MapReduce（3）执行程序运行在 Yarn 上Hive 的优缺点优点（1）操作接口采用类 SQL 语法，提供快速开发的能力（简单、容
2021-08-29 21:57:39
693
2
原创 SparkSQL在IDEA中的使用
IDEA开发SparkSQL上一篇博客SparkSQL核心编程所有举的例子都是在虚拟机的命令行实现的，但是实际开发中，都是使用 IDEA 进行开发的，所以下面介绍下SparkSQL在IDEA中的使用。准备工作添加所需要的依赖（包括spark-core依赖，spark-sql依赖，mysql-connector-java依赖） <dependency> <groupId>org.apache.spark</groupId> <artifactId
2021-08-27 23:00:27
1574
1
原创 SparkSQL核心编程
目录基本介绍DataFrame创建 DataFrameDataSet创建 DataSetRDD 转换为 DataSetDataSet 转换为 RDDDataFrame 和 DataSet 转换RDD、DataFrame、DataSet 三者的关系三者的共性三者的区别三者的互相转换基本介绍DataFrame 和 DataSet 模型是Spark SQL 所提供的两个编程抽象，SparkSQL核心编程主要是关于使用DataFrame 和 DataSet 模型进行编程以及它们之间的关系和转换。Spark C
2021-08-26 22:48:11
658
2
原创 Error running query: MetaException(message:Got exception: java.net.ConnectException Call From XXXX
问题截图问题描述Error: Error running query: MetaException(message:Got exception: java.net.ConnectException Call From hadoop102/192.168.121.102 to hadoop102:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://w
2021-08-25 21:54:22
1129
1
原创 ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决办法
问题截图问题描述cmd命令行进入mysql失败问题原因mysql没有运行解决办法1.直接启动mysql如果自己对应的mysql端口号没有更改过，确定是3306（端口号在my.ini配置文件看），直接启动mysql就行了(1)点击ctrl+alt+del，进入任务管理器，找到服务里的mysql，右键找到启动。（2）或者在cmd命令窗口启动①需要以管理员身份打开cmd窗口②输入指令：net start mysql2（注意：红色框里面为自己的数据库服务名称）net start mys
2021-08-24 11:07:51
1053
1
原创 SparkSQL介绍
基本概念Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 其前身是 Shark，给熟悉 RDBMS ，但又不理解 MapReduce 的技术人员提供快速上手的工具。 Shark 是伯克利实验室 Spark 生态环境的组件之一，是基于 Hive 所开发的工具，其能运行在 Spark 引擎上， SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。数据兼容方面 SparkSQL 不但兼容 Hive，还可以从 RDD、pa
2021-08-23 23:46:52
1356
2
原创 mysql忘记root密码解决方法（版本mysql-8.0.12）
目录问题截图问题描述问题原因解决办法1.以管理员身份登陆cmd，停止MySQL服务2.设置跳过MySQL的密码验证3.设置无密码登陆4. 设置新密码错误提示问题截图问题描述在Navicat无法创建连接（重置密码也可以用这种方法）问题原因mysql密码错误解决办法1.以管理员身份登陆cmd，停止MySQL服务（1）先查看自己的数据库的服务名（开关服务器都需要这个服务名）C:\Windows\system32>net start（2）停止MySQL服务C:\Windows\sy
2021-08-22 14:38:30
1887
1
原创 Spark 案例（依据电商网站的真实需求）
目录数据说明需求1：Top10 热门品类需求说明实现方案一需求分析需求实现实现方案二需求分析需求实现实现方案三需求分析需求实现需求 2：Top10 热门品类中每个品类的 Top10 活跃Session 统计需求说明需求分析需求实现数据说明在前面的博客中已经介绍了了 Spark 的基础编程方式，接下来，再看下在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，先将数据准备好。数据文档链接提取码：xzc6上面的数据图是从数据文件中截取的一部分内容，表示
2021-08-21 22:49:02
1765
1
原创 Spark的RDD 文件读取与保存
RDD 文件读取与保存Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。其中：（1）文件格式分为：text 文件、csv 文件、sequence 文件以及Object 文件；（2）文件系统分为：本地文件系统、HDFS、HBASE 以及数据库。（这里只介绍常见的text 文件、sequence 文件以及Object 文件）文件介绍text文件： text文件是文本文件。sequence 文件： SequenceFile 文件是Hadoop 用来存储二进制形式的key-
2021-08-20 22:21:30
2396
2
原创 Spark的RDD分区器
RDD 分区器基本介绍Spark 目前支持Hash 分区、Range 分区和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了RDD 中分区的个数、RDD 中每条数据经过Shuffle 后进入哪个分区，进而决定了Reduce 的个数。（1）只有Key-Value 类型的RDD 才有分区器，非 Key-Value 类型的RDD 分区的值是 None。（2）每个RDD 的分区 ID 范围：0 ~ (numPartitions - 1)，决定这个值是属于那个分区的。1. Hash 分区说
2021-08-19 21:48:11
638
1
原创 Spark的RDD持久化
RDD持久化1. RDD Cache 缓存说明RDD 通过Cache 或者Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系 println(wordToOneRdd.toDebugString) // 数据缓存。 wordToOneRdd.cache() //
2021-08-19 21:35:12
936
1
原创 Spark的RDD依赖关系
RDD依赖关系RDD 血缘关系RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。将创建 RDD 的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD 的Lineage 会记录RDD 的元数据信息和转换行为，当该RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。package com.atguigu.bigdata.spark.core.rdd.depimport org.apache.spark.{SparkConf, SparkContext}
2021-08-18 21:50:07
602
1
原创 Spark的RDD序列化
RDD序列化1. 闭包检查从计算的角度, 算子以外的代码都是在Driver 端执行, 算子里面的代码都是在 Executor端执行。那么在 scala 的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，就会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。注：Scala2.12 版本后闭包编译方式发生了改变 。2. 序列化方法和属性从计算的角度,
2021-08-18 21:34:57
679
1
原创 Spark的RDD行动算子
目录基本概念算子介绍1. reduce2. collect3. count4. first5. take6. takeOrdered案例实操1-67. aggregate8. fold案例实操7-89. countByKey案例实操10. save相关算子案例实操11. foreach案例实操基本概念行动算子主要是将在数据集上运行计算后的数值返回到驱动程序，从而触发触发作业（Job）的执行。其底层代码调用的就是runJob的方法，底层会创建ActiveJob，并提交执行。算子介绍1. reduce
2021-08-17 21:49:58
1075
2
原创 Spark的RDD转换算子
目录RDD转换算子Value 类型1. map函数定义案例实操2. mapPartitions函数定义案例实操map 和mapPartitions 的区别3. mapPartitionsWithIndex函数定义案例实操4. flatMap函数定义案例实操5. glom函数定义案例实操6. groupBy函数定义案例实操7. filter函数定义案例实操8. sample函数定义案例实操9. distinct函数定义案例实操10. coalesce函数定义案例实操11. repartition函数定义案例实
2021-08-16 23:41:57
610
1
原创 Spark核心编程
基本介绍Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：RDD : 弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量...
2021-08-14 22:51:22
764
1
原创 Spark运行架构
运行架构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的Driver 表示master，负责管理整个集群中的作业任务调度。图形中的Executor 则是 slave，负责实际执行任务。核心组件Driver介绍Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。Driver 在Spark 作业执行时主要负责：将用户程序转化为作业（job）
2021-08-12 23:00:24
1013
1
原创 Spark的Yarn模式及其案例
目录基本概念Yarn模式搭建1. 解压缩文件2.修改配置文件启动集群测试Spark中examples案例1. 提交应用2.Web 页面查看日志配置历史服务器1.具体步骤2.重新提交应用3.Web 页面查看日志基本概念独立部署（Standalone）模式由Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱
2021-08-11 12:37:02
2882
1
原创 Spark配置高可用（HA）
基本介绍所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置。集群规划步骤停止集群[root@hadoop102 spark-standalone]# sbin/stop-all.sh启动Zookeeper[root@hadoop102
2021-08-10 23:01:37
2651
2
原创 Spark配置历史服务
由于spark-shell 停止掉后，集群监控页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。步骤修改 spark-defaults.conf.template 文件名为spark-defaults.conf[root@hadoop102 spark-standalone]# mv spark-defaults.conf.template spark-defaults.conf 修改 spark-default.conf 文件，配置日志存储路径spark.e
2021-08-10 21:56:14
797
1
原创 Call From hadoop102/192.168.121.102 to hadoop102:9000 failed on connection exception
问题截图问题描述在测试Spark中examples案例时，出现Call From hadoop102/192.168.121.102 to hadoop102:9000 failed on connection exception: java.net.ConnectException: 拒绝连接的错误。问题原因hadoop集群没有开启解决办法打开hadoop集群[root@hadoop102 hadoop-2.7.2]# sbin/start-all.sh结果截图...
2021-08-10 17:24:15
1394
原创 Spark的Standalone模式及案例
文章目录基本概念Standalone模式搭建1.解压缩文件2.修改配置文件启动集群1. 执行脚本命令2. 查看服务运行的进程3. 查看 UI 界面测试Spark中examples案例1. 提交应用2. 结果截图基本概念Spark的local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，首先先学习只使用Spark 自身节点运行的集群模式，也就是所谓的独立部署（Standalone）模式。Spark 的Standalone 模式体现了经典的master-slave 模
2021-08-10 17:09:28
795
原创 Spark的Local模式及案例
Spark的Local模式及案例基本概念Local环境搭建1. 解压缩文件2.修改文件名启动 Local 环境WordCount案例1.添加文件2.执行命令3.结果截图测试Spark中examples案例1.退出本地模式2.提交应用3.结果截图基本概念Spark的Local 模式，就是不需要其他任何节点资源就可以在本地执行Spark 代码的环境，一般用于教学，调试，演示等。Local环境搭建1. 解压缩文件将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Linux 并解压
2021-08-09 11:48:08
804
原创 Spark快速上手-WordCount案例
在此之前，我已经用MapReduce 框架实现了WordCount案例，接下来，我开始学习数据处理的另外一个非常重要的方法：Spark。首先，使用WordCount案例实现Spark快速上手。创建Maven项目1. 增加Scala插件使用的Spark 版本为 3.0.0，默认采用的Scala 编译版本为 2.12操作步骤2. 增加依赖关系修改 Maven 项目中的POM 文件，增加Spark 框架的依赖关系（请注意对应版本） <dependencies>
2021-08-09 10:56:19
413
1
原创 Scala隐式转换
隐式转换当编译器第一次编译失败的时候，会在当前的环境中查找能让代码编译通过的方法，用于将类型进行转换，实现二次编译。隐式函数1）说明隐式转换可以在不需改任何代码的情况下，扩展某个类的功能； 使用 implicit 关键字声明为隐式函数。隐式参数普通方法或者函数中的参数可以通过 implicit 关键字声明为隐式参数，调用该方法时，就可以传入该参数，编译器会在相应的作用域寻找符合条件的隐式值。说明同一个作用域中，相同类型的隐式值只能有一个编译器按照隐式参数的类型去寻找对应类型的隐式值，与
2021-08-08 11:28:44
308
原创 Scala的异常处理
基本语法语法处理上和 Java 类似，但是又不尽相同。 下面是Scala的异常处理方法：（1）我们将可疑代码封装在 try 块中。在 try 块之后使用了一个 catch 处理程序来捕获异常。如果发生任何异常，catch 处理程序将处理它，程序将不会异常终止。（2）Scala 的异常的工作机制和 Java 一样，但是 Scala 没有“checked（编译期）”异常，即 Scala 没有编译异常这个概念，异常都是在运行的时候捕获处理。（3）异常捕捉的机制与其他语言中一样，如果有异常发生，catc
2021-08-08 11:17:31
1415
2
原创 Scala模式匹配
Scala模式匹配基本语法模式匹配的声明模式守卫模式匹配类型匹配常量匹配类型匹配集合匹配对象及样例类匹配对象样例类基本介绍案例实操偏函数中的模式匹配偏函数的定义基本语法原理偏函数的使用案例实操基本语法Scala 中的模式匹配类似于 Java 中的 switch 语法，但是 scala 从语法中补充了更多的功能，所以更加强大。 模式匹配语法中，采用 match 关键字声明，每个分支采用 case 关键字进行声明，当需要匹配时，会从第一个 case 分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不
2021-08-08 08:40:07
383
1
原创 Scala常用函数
基本属性和常用操作1）说明（1）获取集合长度（2）获取集合大小（3）循环遍历（4）迭代器（5）生成字符串（6）是否包含2）案例实操package chapter07object Test11_CommonOp { def main(args: Array[String]): Unit = { val list = List(1,3,5,7,13) val set = Set(23,34,423,75) //获取集合的长度 println(lis
2021-08-08 07:29:51
399
原创 Scala集合介绍
Scala集合介绍集合简介不可变集合继承图可变集合继承图数组不可变数组基本介绍案例实操可变数组基本介绍案例实操不可变数组与可变数组的转换基本介绍案例实操多维数组多维数组定义案例实操列表 List不可变 List基本介绍案例实操可变 ListBuffer基本介绍案例实操Set 集合不可变 Set基本介绍案例实操可变集合基本介绍案例实操Map 集合不可变 Map基本介绍案例实操可变 Map基本结束案例实操元组基本介绍案例实操集合简介1）Scala 的集合有三大类：序列 Seq、集 Set、映射 Map，所有
2021-08-07 23:06:41
450
原创 Scala的特质（Trait）介绍
Scala的特质（Trait）基本概念特质声明基本语法特质的使用基本语法说明案例实操特质叠加基本概念案例实操特质叠加执行顺序案例说明特质自身类型说明案例实操特质和抽象类的区别基本概念Scala 语言中，采用特质 trait（特征）来代替接口的概念，也就是说，多个类具有相同的特质（特征）时，就可以将这个特质（特征）独立出来，采用关键字 trait 声明。Scala中的 trait中即可以有抽象属性和方法，也可以有具体的属性和方法，一个类可以混入（mixin）多个特质。这种感觉类似于 Java中的抽象
2021-08-07 10:20:23
1400
原创 Scala单例对象（伴生对象）
概念Scala语言是完全面向对象的语言，所以并没有静态的操作（即在Scala中没有静态的概念）。但是为了能够和Java语言交互（因为Java中有静态概念），就产生了一种特殊的对象来模拟类对象，该对象为单例对象。若单例对象名与类名一致，则称该单例对象这个类的伴生对象，这个类的所有“静态”内容都可以放置在它的伴生对象中声明。单例对象基本语法object Person{ val country:String="China" } 说明（1）单例对象采用 object 关键字声明（2）单例
2021-08-07 09:15:16
791
原创 Scala的抽象类
抽象属性和抽象方法基本语法（1）定义抽象类 abstract class Person{} //通过 abstract 关键字标记抽象类 （2）定义抽象属性 val|var name:String //一个属性没有初始化，就是抽象属性 （3）定义抽象方法 def hello():String //只声明而没有实现的方法，就是抽象方法继承&重写（1）如果父类为抽象类，那么子类需要将抽象的属性和方法实现，否则子类也需声明为抽象类（2）重写非抽象方法需要用 override 修
2021-08-05 16:02:07
409
原创 IDEA常用快捷键
Intelli Idea常用快捷键列表Ctrl+ * 类Ctrl+[ OR]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按F3可以选择Ctrl+N，可以快速打开类Ctrl+R，替换文本Ctrl+F，查找文本Ctrl+D，复制行Ctrl+/或Ctrl+Shift+/，注释(/或者/**/)Ctrl+J，自动代码（例如: serr)ctrl+H，显示类结构图(类的继承层次)ctrl+Q，显示注释文档Ctrl+U
2021-08-05 15:26:11
395
原创 Scala的继承和多态
基本语法class 子类名 extends 父类名 { 类体 } 其中：（1）子类继承父类的属性和方法（2）scala 是单继承案例实操（1）子类继承父类的属性和方法（2）继承的调用顺序：父类构造器->子类构造器package chapter06object Test07_Inherit { def main(args: Array[String]): Unit = { val student1 = new Student7("ailce",12)
2021-08-03 22:50:21
982
原创 Scala的构造器
Scala的构造器构造器基本语法案例实操构造器参数说明案例实操构造器和 Java 一样，Scala 构造对象也需要调用构造方法，并且可以有任意多个构造方法。Scala 类的构造器包括：主构造器和辅助构造器。基本语法class 类名(形参列表) { // 主构造器 // 类体 def this(形参列表) { // 辅助构造器 } def this(形参列表) { //辅助构造器可以有多个... } } 说明：（1）辅助构造器，函数的名称 this，可以有多个，编译器通过
2021-08-03 22:40:14
821
原创 Scala的类和对象
Scala的类和对象概念定义类基本语法案例实操属性基本语法案例实操创建对象基本语法案例实操概念类：可以看成一个模板对象：表示具体的事物定义类基本语法[修饰符] class 类名 { 类体 } 说明 （1）Scala 语法中，类并不声明为 public，所有这些类都具有公有可见性（即默认就是public）（2）一个 Scala 源文件可以包含多个类（3）Scala 中属性和方法的默认访问权限为 public，但 Scala 中无 public 关键字。（4）private 为私
2021-08-02 20:51:40
288
原创 Scala包的使用
Scala包的使用定义基本语法Scala 包的作用包的命名命名规则案例实操命名规范包语句说明案例实操包对象定义说明导包说明说明注意定义基本语法package 包名 Scala 包的作用（1）区分相同名字的类（2）当类很多时，可以很好的管理类（3）控制访问范围包的命名命名规则只能包含数字、字母、下划线、小圆点.，但不能用数字开头，也不要使用关键字。案例实操demo.class.exec1 //错误，因为 class 关键字 demo.12a //错误，数字开头 命名规范
2021-08-01 12:19:55
611
jsp超市管理系统.zip
2021-12-30
java实现简历管理系统的下载链接.txt
2021-05-06
Calculator.java
2020-02-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人