- 博客(134)
- 收藏
- 关注
RSS订阅转载 【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现
2022-08-03 17:00:45
1554
1
转载 【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层
DWM 层部分的代码主要的责任，是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握
2022-07-22 20:28:28
1042
转载 【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM
https://www.bilibili.com/video/BV1Ju411o7f8?p=76&spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=8d02a87c6f14c53617acc291fbe1efa8
2022-07-18 20:17:31
1536
1
转载 【学习笔记】大数据技术之Flink(三)-容错机制，TableAPI和SQL，CEP
【学习笔记】大数据技术之Flink(三)-容错机制，TableAPI和SQL，CEP
2022-07-07 16:24:19
842
2
原创 数据结构与算法笔记五（哈希函数和哈希表，有序表并查集，KMP，manacher，窗口最值更新结构，单调栈）
哈希函数，哈希表，有序表，并查集，KMP
2022-07-06 11:22:26
342
原创 【javaweb学习笔记】servlet-api，filter和Listener
【javaweb学习笔记】servlet-api，filter和Listener
2022-06-09 17:43:43
307
原创 【javaweb学习笔记】tomcat和servlet
CS与BS区别CS： 客户端服务器架构模式优点：充分利用客户端机器资源，减轻服务器的负荷。（一部分安全要求不高的计算任务存储任务放在客户端执行，不需要把所有的计算和存储都在服务器端执行，从而能够减轻服务器的压力，也能够减轻网络负荷）缺点：需要安装；升级维护成本较高；BS：浏览器服务器架构模式优点：不需要安装；维护成本较低；缺点：所有的计算和存储任务都是放在服务器端的，服务器的负荷较重；在服务端计算完成之后把结果再传输给客户端，因此客户端和服务器端会进行非常频繁的数据通信，从而网络负荷较重；2
2022-06-06 17:39:20
267
原创 【javaweb学习笔记】JDBC
JDBC1.JDBC常规操作：1).JDBC连接MYSQL数据库2）.JDBC对数据库进行增、删、改3）.JDBC对数据库进行查询操作4）.添加操作时获取自增列主键值5）.批处理2.项目实战-水果库存系统2.1 需求介绍2.2 显示主菜单2.3 退出2.4 DAO的概念以及DAO的设计2.5 实现DAO接口2.6 添加库存记录2.7 显示库存列表2.8 查看指定水果库存信息2.9 水果下架2.8 CLient3.JDBC优化3.1 抽取连接及释放资源的方法3.2 BaseDAO抽取增删改通用方法3.3 抽取
2022-06-01 15:13:57
1055
原创 【javaWeb学习笔记】HTML，CSS，JS
第一节1. HTML基本语法1. HTML基本语法HTML：超文本标记语言-决定页面上显示什么内容CSS：页面上的内容显示的风格（决定页面上内容的美观程度）JavaScript：页面上显示的特效。<html> <head> <title>这是我的第一个网页</title> <meta charset="UTF-8"> </head> <body> <!-- HELLO WORLD!&l
2022-05-25 20:54:59
249
原创 【SQL事务】事务是如何实现的？
1. 什么是事务？事务是一组 SQL语句的集合，要么全部执行，要么全部不执行。事务有四大特性ACID： 原子性，一致性，隔离性，持久性原子性：一个事务的操作要么全部执行，要么全部不执行。在事务的执行过程中，发生错误，会被回滚到事务开始前的状态，就像这个事务从来没有执行过 一样。主要是靠undolog进行保证的隔离性：数据库允许多个并发事务同时对其数据进行读写和修改的能力。事务隔离级别分为不同的级别：读未提交(Read uncommited)，读已提交(Read commited)，可重复读(Repe
2022-05-18 22:29:35
1152
原创 【Linux网络】select/poll 和 epoll的深入理解
目录1. 用户态和内核态1.1 用户态和内核态的概念1.2 用户态切换到内核态的三种方式2. 为什么不用多线程？3. 如何用单线程的方式来处理客户端的大量连接呢？3.1. DMA控制器3.2. 文件描述符3.3 单线程遍历文件描述符3.4 select/poll3.5 pollpollfd结构体过程3.6 epoll场景参考1. 用户态和内核态1.1 用户态和内核态的概念内核态：cpu可以访问内存的所有数据，包括外围设备，例如硬盘，网卡，cpu也可以将自己从一个程序切换到另一个程序。用户态：只能受限
2022-05-14 17:41:50
626
原创 关于spark组件通信--RPC
NIO，AIO，BIOBIO：同步阻塞模型，一个客户端连接 对应 一个处理线程， 会导致线程阻塞，浪费线程资源NIO：同步非阻塞模型，服务器实现模式为一个处理线程对应多个客户端的连接，客户端发送的连接请求都会注册到多路复用器selector上，多路复用器轮询到连接，有IO请求就会进行处理。AIO：异步IO模型Nettynetty是对nio的进一步封装，nio是一些底层的api，netty是基于这些api，对reactor模型的实现，是一个开箱即用的网络框架。Reactor对于 Reactor
2022-05-10 14:04:52
408
原创 【直播笔记】22年最新【面试题】TCP/IP和NIO
文件系统有界数据：有数据，历史，可寻址的数据网络数据： 无界数据old IO flush（） 空实现，断电会丢数据。但是vi会看见数据？vi和javaAPP会和内核交互。移动硬盘自带电容，防止突然断电。NIOforce调用内核，刷写数据。OSI程序： 应用层，会话层，表示层内核： 传输控制层，网络层，链路层，物理层其实网络ｉｏ是程序自己对着自己系统内核的过程。传输＝＝控制＝＝层：1、TCP三次握手等面试题2、SOCKET通信的面试题3、TCP状态切换的面试题4、长连接、短
2022-05-09 16:47:16
626
原创 JVM的默认内存是怎么分配的？
JVM当运行java程序出现OOM问题时，其实第一个想到的解决方法就是 增加机子内存，但是很简单的将机子内存由4G升级到了8G，这时就会成功运行java程序。为什么简单的增大了内存就会做到这一点呢？我又没有修改jvm的参数。spark会使用堆外内存进行storage和execution，但是默认是关闭的参考JVM出现OOM的八种原因及解决办法...
2022-05-08 10:49:51
1356
原创 【Azkaban报错解决】FAILED: SemanticException Failed to get a spark session
问题描述：ods_to_dwd_log报以下错误ods_to_dim_db报一下错误可以看出都是相同报错，无法创建spark事务Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true05-05-2022 14:31:02 CST ods_to_dim_db INFO - Hive Sess
2022-05-07 20:21:03
4600
原创 【直播笔记】海量数据JVM优化直播课笔记二
这里写目录标题1. GarbageCollect（垃圾回收）垃圾收集算法标记清除算法标记复制算法标记整理算法滑动整理算法分代收集算法垃圾收集器1. Serial（新生代）1. Serial Old（老年代）1. GarbageCollect（垃圾回收）内存泄漏：不能被回收的无用对象，eg，存在循环引用的对象。内存泄漏的堆积会产生内存溢出问题。引用计数法：可达性分析算法/根搜索算法：可达性：回收哪：堆判定我回收的数据对象的回收java中对象引用—对象对象身上是否有引用引用计数为0的情
2022-05-07 08:33:15
161
原创 【直播笔记0505】涛哥的Mysql索引原理深入剖析
涛哥的Mysql索引原理深入剖析1. 索引到底是什么东西？2. 建立索引的方式3. 索引的类型：4. 数据结构选型4.1 二叉查找树4.1 平衡二叉树（AVL树）B树B+树Hash索引存储引擎5.索引的使用以及创建索引的使用原则失效的场景1.Mysql索引的本质是什么？2.索引有哪些分类3.为什么我们要选择B+树做为索引的数据结构4.不同的存储引擎之间有什么差异5.索引的使用到底应该遵循什么原则创建索引效率提高。键索引花费时间。1. 索引到底是什么东西？数据库的索引是i一个经过排序的数据结
2022-05-05 22:28:48
765
原创 【学习笔记】可视化工具之 Superset
可视化工具之 Superset第1章 Superset入门1.1 Superset概述1.2 Superset应用场景第2章 Superset安装及使用2.1 安装Python环境2.1.1 安装Miniconda2.1.2 创建Python3.7环境2.2 Superset部署2.2.1 安装依赖2.2.2 安装Superset2.2.3 启动Supterset2.2.4 superset启停脚本第3章 Superset使用3.1 对接MySQL数据源3.1.1 安装依赖3.1.2 重启Superset3
2022-04-27 16:10:29
2363
1
原创 【学习笔记】大数据技术之Azkaban
Azkaban第1章 Azkaban概论1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 Azkaban与Oozie对比2.1 集群模式安装2.1.1 上传tar包jobC 依赖 JobA和JobB第1章 Azkaban概论1.1 为什么需要工作流调度系统1）一个完整的数据分析系统通常都是由大量任务单元组成：Shell脚本程序，Java程序，MapReduce程序、Hive脚本等2）各任务单元之间存在时间先后及前后依赖关系3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度
2022-04-27 12:44:28
742
原创 【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第二节
电商数据仓库系统6. 数仓搭建-DWD层启动日志表–对应一个启动日志页面日志表–对应一个页面埋点日志动作日志表–在一个页面埋点日志会有多个动作一行数据是一个动作，所以就需要一进多出的操作，UDTF函数6.1.5 动作日志表装载中定义UDTF函数动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_
2022-04-27 08:52:43
3564
原创 【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第一节
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】思考问题？1. 为什么用hive on spark来处理数据？1. 数据仓库概念1.1 原始数据备份到ODS中1.2 DWD完成数据的清洗1.3 join形成大的分表（DWS，DWT）1.4 ADS 结果报表1.5 输出1.5.1 报表系统1.5.2 用户画像1.5.3 推荐系统1.5.4 机器学习2. 项目需求及架构设计2.1 项目需求2.2 项目框架2.2.1 技术选型2.2.2 系统数据流程设计2.2.3 框架发行版本选型2.2.4 服务器
2022-04-25 20:03:07
2229
原创 【直播笔记0424】面试必问的mysql事务和锁机制-马士兵
面试必问的mysql事务和锁机制事务的四个特点是什么？他们的实现原理是什么？MVCC如何实现多版本并发控制？如何解决读写冲突？马士兵yydsmysql的整体架构MySql的日志系统如何实现事务特性什么是WAL？保证持久性什么是mysql的两阶段提交？什么是MVCC？数据库支持的并发有几种情况？Mysql有几种读的方式？什么是MVCC？MVCC如何实现的？RR隔离级别能否解决幻读问题？产生幻读的本质原因数据一致性如何查看死锁？mysql的整体架构AST：抽象语法树（antlr，calcite）h
2022-04-24 21:59:32
824
1
原创 【学习笔记】大数据技术之Sqoop安装与使用
能够在关系型数据库和hadoop之间，进行数据的双向传输–导入和导出。当导入的时候，可以导到hdfs的路径中，也可以导到hive和hase的一张表里。2.3 Sqoop安装底层是mapreduce。2.3.1 下载并解压1）sqoop官网地址：http://sqoop.apache.org2）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/3）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到h
2022-04-24 19:59:38
374
原创 【学习笔记】大数据技术之SparkStreaming
这里写目录标题思考？SparkStreaming 的wordcount第1章 SparkStreaming 概述1.1 Spark Streaming 是什么1.2 Spark Streaming 的特点1.3 Spark Streaming 架构1.3.1 架构图1.3.2 背压机制第 2 章 Dstream 入门2.1 WordCount 案例实操2.2 WordCount 解析第 3 章 DStream 创建3.1 RDD 队列3.1.1 用法及说明3.1.2 案例实操3.2 自定义数据源3.2.1
2022-04-21 15:41:26
2059
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人