qq_59336423的博客

Java虚拟机无法解决的严重问题。如JVM系统内部错误、资源耗尽等严重情况。1.栈溢出:java.lang.StackOverflowError。2.堆溢出：java.lang.OutOfMemoryError。

在jdk7及之前版本：要求此局部变量显示的声明为final的。数组，这里我们在定义num前面加一个final就行。在jdk8及之后的版本：可以省略final的声明。的方法中如果调用局部内部类所声明的方法中的。提示要求我们把num转成一个。

当元素的类型没有实现java.lang.Comparable接口而又不方便修改代码，或者实现了java.lang.Comparable接口的排序规则不适合当前的操作，那么可以考虑使用Coparator。1、像String、包装类等实现了Comparable接口，重写了compareTo()方法，给出了比较两个对象大小的方式。4、对于自定义类来说，如果需要排序，我们可以让自定义类实现Comoarable接口，重写comoareTo()方法。如果当前对象this大于形参对象obj，则返回正整数，...

publicStringsubstring(intstart,intend)返回一个从start开始到end索引结束的左闭右开间的子字符串。StringBufferreplace(intstart,intend,Stringstr)把[start,end)位置替换为str。String-->char[]调用String的toCharArray()String-->byte[]调用String的getBytes()>toString()显示当前的年、月、日、时、分、秒。...

1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包，检查/etc/profile.d/my_env.sh文件，确认Hadoop和Java环境变量配置正确。（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下。（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下。（3）修改apache-flume-1.9.0-bin的名称为flume。...

String：字符串，使用一对“”引起来表示。1.String声明为final的，不可被继承。2.String实现了Serializable接口：表示字符串是支持序列化的。 实现了Comparable接口：表示String可以比较大小。3.String内部定义了final char[] value用于存储字符串数据。4.String：代表不可变的字符序列。简称：不可变性。 体现：1.当对字符串重新赋值时，需要重写指定内存区域赋值，不能使用原有的value进行赋值。

案例实操：1.数据准备我们这次 Spark-sql 操作中所有的数据均来自 Hive，首先在 Hive 中创建表,，并导入数据。一共有 3 张表： 1 张用户行为表，1 张城市表，1 张产品表。2.需求：各区域热门商品 Top32.1需求简介 这里的热门商品是从点击量的维度来看的，计算各个区域前三大热门商品，并备注上每个商品在主要城市中的分布比例，超过两个城市用其他显示。 2.2需求分析➢ 查询出来所有的点击记录，并与 city_info 表连接，得到每个城市所在的地区，与Product_i

数据的加载和保存通用的加载和保存方式SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为 parquet1) 加载数据spark.read.load 是加载数据的通用方法 如果读取不同格式的数据，可以对不同的数据格式进行设定➢ format("…")：指定加载的数据类型，括"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"。➢ load("

IDEA 开发 SparkSQL添加依赖 代码实现UDAF强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数， 如 count()，countDistinct()，avg()，max()，min()。除此之外，用户可以设定自己的自定义聚合函数。通过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 版本后，UserDefinedAggregateFunction 已经不推荐使用了。可以统一采用强类型聚

创建 DataFrame在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口，创建 DataFrame 有三种方式：通过 Spark 的数据源进行创建；从一个存在的 RDD 进行转换；还可以从 Hive Table 进行查询返回。1) 从 Spark 数据源进行创建查看 Spark 支持创建文件的数据源格式 在 spark 的 bin/data 目录中创建 user.json 文件 读取 json 文件创建 DataFrame 注意：如果从内存中获取数据，

解压缩文件将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩，放置在指定位置。 修改配置文件1) 修改 hadoop 配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发 2) 修改 conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置 启动 HDFS 以及 YARN 集群查看 http://Hadoop103:8088 页面，点击 History，查看历史页面配置

Scala是基于JVM的语言。六大特征：1.与java无缝整合2.类型推断3.支持分布式和并发Actor4.Trait特质特性5.模式匹配match6.高阶函数类和对象：当new类时，类中除了方法不执行其他都执行；object相当于java中的单例，定义的都是静态的；class可以传参，传参就有默认的构造；重写构造时，第一行要先调用默认的构造；for，（1 to 10）,（1 until 10），（for(i......

元组最多支持22个元素元组可以new 也可以不new，甚至可以直接写（）中写元素一个类继承多个trait时，第一个关键字使用 extents，之后使用withTrait中可以有方法体的实现或者方法体的不实现，类继承了Trait要实现Trait中没有实现的方法Match 模式匹配1.case _ 什么都匹配不上匹配，放在最后2.match 可以匹配值还可以匹配类型3.匹配的过程中会有数值的转换4.从上往下匹配，匹配上之后会自动终止5.模式匹配外部的“{..}”可以省略偏函数，只能匹配一个值，匹配上

Unit 表示无值，和java中void等同。Nothing 所有其他类型的子类型，表示没有值Any 所有类型的超类型，任何实例都属于Any类型AnyRef 所有引用类型的超类AnyVal 所有值类型的超类 Scala：1.Scala object相当于java中的单例，object中定义的全是静态的。相当于java的工具类。Object不可以传参，对象要传参，使用apply方法。2.Scala中定义变量使用var，定义常量使用val，变量可变，常量不可变，变量和常量类型可以省略不写，会自动推断。3.Sca

本地启动1. 下载安装包进入 Flink 官网，下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz，注意此处选用对应 scala 版本为 scala 2.12 的安装包。2. 解压在 hadoop102 节点服务器上创建安装目录/opt/module，将 flink 安装包放在该目录下，并执行解压命令，解压至当前目录。3. 启动进入解压后的目录，执行启动命令，并查看进程。 4. 访问 Web UI启动成功后，访问 http://hadoop102:8081，可

线程通信的应用：经典例题：生产者/消费者问题创建线程的方式三：实现Callable接口。 - - - JDK 5.0新增 如何理解实现Callable接口的方式创建多线程比实现Runnable接口创建多线程方式强大？1.call()可以有返回值的。2.call()可以抛出异常，被外面的操作捕获，获取异常的信息3.Callable是支持泛型的创建线程的方式四：使用线程池好处：1.提高响应速度（减少了创建新线程的时间）2.降低资源消耗（重复利用线程池中线程，不需要每次都创建）3.便于线程管理.

1.在Idea工程根目录下新建一个 input 文件夹，并在下面创建文本文件 words.txt2.在 words.txt 中输入一些文字，例如： 3.在 com.atguigu.chapter02 包下新建 Java 类 BatchWordCount，在静态 main 方法中编写测试代码。我们进行单词频次统计的基本思路是：先逐行读入文件数据，然后将每一行文字拆分成单词；接着按照单词分组，统计每组数据的个数，就是对应单词的频次。...

1.下载并解压下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中解压 sqoop 安装包到指定目录，如：2.修改配置文件重命名配置文件修改配置文件sqoop-env.sh3.拷贝JDBC驱动拷贝 jdbc 驱动到 sqoop 的 lib 目录下，如：4. 验证 Sqoop我们可以通过某一个 command 来验证 sqoop 配置是否正确： 出现一些

使用同步机制将单例模式中的懒汉式改写为线程安全的演示线程的死锁问题1.死锁的理解：不同的线程分别占用对方需要的同步资源不放弃，都在等待对方放弃自己需要的同步资源，就形成了线程的死锁2.说明：①出现死锁后，不会出现异常，不会出现提示，只是所有的线程都处于阻塞状态，无法继续。②我们使用同步时，要避免出现死锁。解决线程安全问题的方式三：Lock锁 - - - JDK5.0新增1.实例化ReentrantLock2.调用锁定方法：lock（）3.调用解锁方法：unlock()synchronize