- 博客(12)
- 收藏
- 关注
RSS订阅原创 Spark源码——RDD中join操作的宽窄依赖探究
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object JoinDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster("local[*]") val sc =
2021-06-16 15:39:02
345
原创 数仓项目——在线教育平台离线数据仓库效果展示
背景：基于阿里云的3台ECS云服务器搭建了在线教育平台的离线数据仓库，本文仅用于记录最终的效果，从0到1的实现过程后续进行补充，由于抢占式实例的云服务器按量进行每小时计费，为了避免持续的收费，所以我急于展示结果，也就有了此文（数仓已经搭建完成，我自然可以停止它）。1 阿里云服务器的启动进入控制台后，选择「启动」待启动的三台云服务器，启动时私有IP地址不会发生变化，而公有IP地址会发生变化，此外，我选用的服务器配置是3台2核8G、硬盘大小为40GB的服务器，如下（当然IP地址遮住了哈）：随后，需要在终
2021-06-07 19:20:43
1839
6
原创 本地读取HDFS上文件报错：BlockReaderFactory: I/O error constructing remote block reader.
背景：利用IntelliJ IDEA开发在线教育离线数据仓库时，需要将HDFS上的*.log数据进行ETL后加载到dwd层的数据表中，即ods=>dwd，这里面如果使用本地模式运行(local[*])的会涉及到“本地测试环境（外网）访问云服务器HDFS文件系统间的通信”问题，通俗理解，本地环境读取云服务器上的数据。报错点：21/06/03 13:41:28 INFO HadoopRDD: Input split: hdfs://mycluster/warehouse/online_educati
2021-06-03 14:04:43
5295
原创 Kafka生产者发消息报错：Connection to node -1 could not be established. Broker may not be available.
Kafka上手时，为了测试简单的「生产者-消费者」，于是利用Kafka中的kafka-topics.sh创建了一个topic:topic_1后进行测试。测试语句如下：生产者：kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1消费者：kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1原本以为会如期出现生产者发送
2021-04-17 17:25:32
1931
原创 Web系列——Vue
写在前面： 查阅「Vue官方网站」(Vue)是学习这个渐进式框架的推荐途径，很多想要搜寻的答案能在里面找到。本文记录Vue中的常用指令以及一个Vue简单案例的实现。1. Vue的简介Vue是一套用于构建用户界面的渐进式框架，尤雨溪是Vue.js框架的作者。学习Vue需要了解关于 HTML、CSS 和 JavaScript 的相关知识，只有当基础打牢后，Vue才能助力前端开发更上一层楼。Vue具有如下特点：JavaScript框架：可以独立完成前后端分离式Web项目的渐进式JavaScript框架
2020-12-29 20:34:34
535
1
原创 imblearn库中ADASYN()使用报错:No samples will be generated with the provided ratio settings.
报错点：No samples will be generated with the provided ratio settings.问题源：采用重采样方法ADASYN解决类别不平衡样本问题时，遇到了“提供的比率设置无法生成任何样本”的错误。代码如下：from imblearn.over_sampling import ADASYNX = data.drop('label', axis=1)Y = data['label']X_resample, Y_resample = ADASYN().fi
2020-12-17 20:19:44
2632
3
原创 MySQL语法格式——DDL
这是为了记录MySQL语法格式所创建的「系列文」，只有简单的实践，没有解读。DDL的英文全称是Data Definition Language，即数据定义语言，它是用于定义数据库对象的操作语句，比如数据库、表、列等。在记录数据库和数据表的相关操作前，先介绍MySQL数据类型和Java数据类型的关系，加粗的是常见的字段类型：(1) 字符串数据类型MySQL字段类型说明字符数Java数据类型char(n)固定长度最多255java.lang.Stringvarchar
2020-12-03 21:59:34
554
原创 MySQL语法格式——DML
这是为了记录MySQL语法格式所创建的「系列文」，只有简单的实践，没有解读。DML的英文全称是Data Manipulation Language，即数据操作语言，它是用于对数据库中表的记录进行更新的操作语句。以三国人物信息表(People)来演示对表中数据的「增、改、删」操作，People表结构如下：中文描述字段名数据类型人物IDidint姓名namevarchar(20)性别sexchar(1)国家countrychar(1)1. 添加
2020-12-03 20:34:40
312
原创 Java知识点——异常机制
写在前面： 查阅「Java官方手册」(Java 11 官方API)和学习「Java源码」是学习这门语言的必经之路。1 异常的基本概念Java中的「异常」指程序执行中发生的不正常情况，常见的异常如下图所示：以上的异常类都存在于java.lang包中，以上类的具体含义如下：Throwable类：Java中Error和Exception的超类Error类：描述Java虚拟机无法解决的严重错误，如，JVM挂掉的情况Exception类：描述因编程错误或其他因素导致的轻微错误，可通过修改程序
2020-11-12 20:06:22
108
原创 Java系列——斗地主部分功能
Java之核心类库“斗地主部分功能”和“学生信息管理系统”都是「Java核心类库」中经典的小项目，等后续加入SQL数据库时再进行“学生信息管理系统”的完整实现，对于“斗地主部分功能”的实现，我将提供一种解决视角，仅供参考。题目描述：使用集合实现斗地主游戏的部分功能，要求如下：（1）首先准备 54 张扑克牌并打乱顺序。（2）由三个玩家交替摸牌，每人 17 张扑克牌，最后三张留作底牌。（3）查看三个玩家手中的扑克牌和底牌。（4）其中玩家手中的扑克牌需要按照大小顺序打印，规则如下：注意：手中扑克牌
2020-11-04 11:59:03
283
原创 Java系列——五子棋的实现
Java之面向对象编程五子棋（控制台版）是「面向对象编程」中经典的小项目，下面我将提供一种解决视角，仅供参考。题目描述：编程实现控制台版并支持两人对战的五子棋游戏。（1）绘制棋盘 - 写一个成员方法实现（2）提示黑方和白方分别下棋并重新绘制棋盘 - 写一个成员方法实现。（3）每当一方下棋后判断是否获胜 - 写一个成员方法实现。（4）提示： 采用二维数组来模拟并描述棋盘，棋盘如下：注意点：五子棋棋盘有且只有一张：单例模式实现绘制棋盘函数：按行打印二维数组，双层for循环实现判断落子是
2020-10-09 09:09:54
4972
7
原创 Java系列——基础编程题
题目描述：编程题提示用户输入年月日信息，判断这一天是这一年中的第几天并打印注意点：用户输入的年月日是否为异常值？如月份和日有无越界需要判断当年是否为闰年，闰年需修改2月的实际天数代码如下：import java.util.Scanner;public class homework1 { public static void main(String[] args) { //对用户输入的年月日是否是为异常值进行判定 for(;;) {...
2020-09-15 11:13:41
1584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人