- 博客(576)
- 资源 (63)
- 收藏
- 关注
RSS订阅
原创 MySQL数据库面试题（2021最新版）
MySQL常用的存储引擎有什么区别？常用的存储引擎有以下：Innodb引擎：Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。MyIASM引擎(原本Mysql的默认引擎)：不提供事务的支持，也不支持行级锁和外键。MEMORY引擎：所有的数据都在内存中，数据的处理速度快，但是安全性不高。MyISAM与InnoDB区别MyISAMInnodb存储结构每张表被存放在三个文件：frm表格定义、MYD
2021-09-03 10:39:22
3243
55
原创 ⭐博客专家之路（已达成）
留个帖子记录我的博客专家之路2020-12-22很遗憾，你的「博客专家」申请未能通过。2020-12-22尊敬的 CSDN 用户，很遗憾你的「博客专家」申请未通过：博文整体较为系统完善，但仍偏基础理论层面，建议多丰富些工作学习中的一线实战经验分享，供开发者学习借鉴。请继续加油！。请继续加油，技术之路，我们共同成长！...
2021-07-22 20:55:52
914
15
原创 001.精读《Big Data: A Survey》
本文全面回顾了大数据的背景、相关技术和应用。作者首先介绍了大数据的总体背景，并讨论了云计算、物联网、数据中心和Hadoop等技术。接着，重点介绍了大数据价值链的四个阶段：数据生成、获取、存储和分析，每个阶段都包括背景介绍、技术挑战讨论和最新进展回顾。最后，作者讨论了大数据在企业管理、物联网、社交网络、医疗、集体智能和智能电网中的应用，旨在为读者提供一个全面的视角。首先，通读本文后，我们至少可以了解到什么是大数据。大数据不仅仅指的是数据量大，而是那些无法在可接受范围内被普通计算机捕获、管理和处理的数据集。
2024-07-29 22:43:52
896
原创 NAS、SAN 与 DAS 的比较与应用场景
NAS是一种连接到网络的存储设备，允许多个客户端通过网络访问存储资源。它通常使用标准网络协议（如NFS、SMB/CIFS）进行数据传输。SAN是一种专用的高速网络，用于连接服务器和存储设备。它提供了块级存储，使得存储资源看起来像是本地连接的。DAS是一种直接连接到单个计算机或服务器的存储设备，通常通过SCSI、SATA或USB接口。特性NASSANDAS连接方式网络（以太网）专用高速网络（光纤通道或iSCSI）直接连接（SCSI、SATA、USB）存储类型文件级存储块级存储块级存储扩展性。
2024-07-29 22:42:38
773
原创 MySQL Binlog详解：提升数据库可靠性的核心技术
MySQLBin Log（Binary Log，二进制日志）是MySQL数据库的一种日志文件，用于记录对数据库执行的所有修改DML操作（例如INSERT、UPDATE、DELETE等），但不包括SELECT等DQL只读操作。Bin Log是MySQL实现复制、恢复和审计的重要工具。MySQL 中的 DDL、DML、DQL 和 DCLMySQLBin Log是一个强大的工具，广泛应用于数据恢复、复制和审计等场景。通过正确配置和使用Bin Log，可以大大提高MySQL数据库的可靠性和可用性。
2024-07-07 20:06:07
1227
原创 MySQL 中的 DDL、DML、DQL 和 DCL
DDL（Data Definition Language）用于定义和管理数据库结构或模式。这类语句主要包括创建、修改和删除数据库对象（如数据库、表、索引等）。命令描述示例CREATE创建数据库或表ALTER修改数据库对象DROP删除数据库或表TRUNCATE清空表数据CREATE：用于创建数据库和表。-- 创建数据库-- 创建表ALTER：用于修改已有的数据库对象。-- 修改表，添加新列-- 修改表，修改列数据类型DROP：用于删除数据库或表。-- 删除数据库-- 删除表。
2024-07-07 20:03:32
743
原创 数据倾斜优化：Hive性能提升的核心
数据倾斜，也称为Data Skew，是在分布式计算环境中，由于数据分布不均匀导致某些任务处理的数据量远大于其他任务，从而形成性能瓶颈的现象。这种情况在Hive中尤为常见，可能发生在MapReduce作业的Map或Reduce阶段。就好比像是在一个拥挤的超市里，所有的顾客都挤在一个收银台前排队结账，而其他的收银台却几乎没有人。这种情况在数据处理中也会发生，我们称之为“数据倾斜想象一下，你有一个巨大的数据集，需要分成很多小块来同时处理（这就像超市开了很多个收银台）。
2024-06-30 23:09:00
867
原创 Wails 安装初体验
如果遇到网络问题可以， 这时如果连接不到proxy.golang.org 的话可以切换国内源。通过上述步骤，你可以轻松安装和使用 Wails 来开发跨平台桌面应用。如果遇到问题，请查看。Wails 是一个用于构建桌面应用的 Go 框架，结合了现代前端技术。确保系统上已安装 Go 和 Node.js。构建完成后，应用程序的可执行文件将位于。这将启动开发服务器并打开应用窗口。根据提示选择项目模板并配置项目。同时记得配上PATH。以获取更多详细信息。
2024-06-30 23:08:10
679
2
原创 元数据：数据的罗塞塔石碑
元数据（Metadata）是描述数据的数据。它详细说明了数据的属性、上下文、来源、结构和使用方法。简单来说，元数据就像是数据世界里的导游，它告诉我们数据的来龙去脉。元数据不仅捕捉了数据从诞生到被使用的每一个步骤，还详细记录了数据的结构和数据流转的路径。在数据仓库的日常操作中，元数据就像是一个智能的助手，它让数据管理员和开发者能够轻松定位到他们需要的数据。这不仅让数据管理和开发工作变得更加得心应手，还显著提升了工作效率。元数据的作用描述理解数据的起源和含义。
2024-06-17 21:21:33
921
原创 SQL160 国庆期间每类视频点赞量和转发量
用户-视频互动表tb_user_video_log（uid-用户ID, video_id-视频ID, start_time-开始观看时间, end_time-结束观看时间, if_follow-是否关注, if_like-是否点赞, if_retweet-是否转发, comment_id-评论ID）短视频信息表tb_video_info（video_id-视频ID, author-创作者ID, tag-类别标签, duration-视频时长, release_time-发布时间）问题：统计2021年国庆头3
2024-06-17 21:20:40
641
原创 数据仓库核心：事实表深度解析与设计指南
事实表是数据仓库中的核心，它与维度表相对应，存储了业务过程中量化的数据，也就是我们通常所说的度量值（measures度量值：这些是事实表中的主要数据，可以进行数值计算，如销售额、订单数量、产品单价等。维度键：这些是指向维度表的外键，通过它们，事实表与维度表相连，从而为度量值提供上下文信息。上下文信息：提供额外的业务信息，如时间戳、事务ID等。粒度”描述了事实表中每条记录所捕捉到的业务细节的深度。它可以通过两个维度来衡量：首先是维度属性的组合，它们决定了数据条目的详细程度；
2024-06-10 10:53:06
1567
1
原创 SQL159 每个创作者每月的涨粉率及截止当前的总粉丝量
示例数据中表tb_user_video_log里只有视频2001和2002的播放记录，都来自创作者901，播放时间在2021年9月和10月；其中10月里加粉量为2，掉份量为1，播放量为4，因此涨粉率为0.250，截止当前总粉丝数为2。
2024-06-10 10:50:30
953
1
原创 数据仓库核心：维度表设计的艺术与实践
说回维度表，它承载着丰富的描述性信息，是连接事实表的桥梁。主键：它是维度表的“身份证”，一个独特的标签，确保了每一行数据的唯一性。描述性属性：这些属性是维度表的灵魂，它们描绘了维度的细节，比如时间的流逝、地点的特色、产品的特性等。其就像一个精心编排的目录，它通过主键来确保每个条目都是独一无二的。这个主键就像是一把钥匙，不仅打开了数据的大门，还确保了与它相连的任何事实表之间的联系是牢固和完整的。代理键和自然键，它们都是用来标识维度表中的特定条目的。想象一下，代理键。
2024-06-02 21:00:40
1110
原创 SQL158 每类视频近一个月的转发量/率
统计在有用户互动的最近一个月（按包含当天在内的近30天算，比如10月31日的近30天为10.2~10.31之间的数据）中，每类视频的转发量和转发率（保留3位小数）。
2024-06-02 20:59:52
751
原创 大数据Hive中的UDF：自定义数据处理的利器（下）
本文我们详细解析了UDAF和UDTF在Hive中的应用。通过实际代码示例，我们展示了UDAF如何帮助我们深入分析数据，以及UDTF如何简化复杂的数据转换任务。如果您对UDAF、UDTF或Hive的其他高级功能有疑问，或者想要更深入地讨论，欢迎在文章下留言或直接联系我们。期待我们的下一次分享，一起在大数据的世界里探索新知。我们下次见！
2024-05-20 21:26:20
1028
原创 大数据Hive中的UDF：自定义数据处理的利器（上）
在大数据技术栈中，扮演着数据仓库的关键角色，它提供了丰富的数据操作功能，并通过类似于SQL的HiveQL语言简化了对Hadoop数据的处理。然而，内置函数库虽强大，却未必能满足所有特定的业务逻辑需求。此时，用户定义函数（UDF）的重要性便凸显出来。Hive UDF）是Hive中的一种扩展机制，它允许用户通过编写自定义的Java代码来扩展Hive的功能，实现Hive内置函数无法提供的一些特定数据处理逻辑。在深入探讨Hive UDF的实现之前，让我们首先确保开发环境的准备妥当。对于UDF的编写，推荐使用。
2024-04-21 21:28:54
2143
1
原创 SQL156 各个视频的平均完播率
视频2001在2021年10月有3次播放记录，观看时长分别为30秒、24秒、34秒，视频时长30秒，因此有两次是被认为完成播放了的，故完播率为0.667；
2024-04-21 21:24:56
808
原创 解锁数据潜能：深入理解数据仓库建模及其模型对比
在选择数据仓库建模方法时，企业需要考虑多种因素，包括项目的紧急程度、数据的复杂性、预算限制以及未来的扩展性。每种建模方法都有其优势和局限性。Kimball方法适合快速交付和用户友好的BI解决方案，而Inmon方法更适合需要长期维护和企业级数据管理的场景。Data Vault方法提供了一种灵活的扩展性，而Anchor则专注于核心业务的稳定性。数据湖模型则适用于需要处理大量非结构化数据的场景。无论选择哪种方法，关键是确保数据模型能够支持企业的长期目标和决策需求。
2024-03-24 21:21:12
862
原创 数据仓库核心：揭秘事实表与维度表的角色与区别
在本篇博文中，我们深入探讨了数据仓库中事实表和维度表的关键角色与它们之间的显著差异。事实表，作为数据仓库的心脏，承载着量化的业务度量，而维度表则为这些度量提供了必要的上下文和解释。这种精心设计的结构不仅使我们能够高效地存储和检索数据，而且还能更加灵活和深入地进行数据分析，为企业的决策提供强有力的支持。最终，理解事实表和维度表的真正价值在于它们如何共同作用，帮助我们从数据中提取出有意义的洞察，推动业务的持续增长和创新。
2024-03-17 21:46:37
3671
2
原创 JZ77按之字形顺序打印二叉树
import java.util.*;/*public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val; }}*/public class Solution { public ArrayList<ArrayList<Integ.
2024-03-17 21:44:56
212
原创 Jz32从上往下打印二叉树
//add()和remove()方法在失败的时候会抛出异常(不推荐)// 用offer 和poll 替代import java.util.ArrayList;import java.util.*;/**public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val;.
2024-03-17 20:54:46
178
原创 深入理解Hive：探索不同的表类型及其应用场景
在本文中，我们深入探讨了Hive数据仓库中的表类型，包括内部表、外部表、分区表、桶表、视图以及临时表。每种表类型都有其独特的特性和适用场景，它们共同构成了Hive强大的数据管理能力。内部表和外部表主要根据数据存储位置和生命周期管理来区分。内部表的数据与Hive的元数据紧密关联，而外部表则允许数据在Hive之外独立存在。分区表和桶表则专注于查询优化，通过数据的逻辑和物理分割来提高查询效率。视图提供了一种灵活的数据抽象方式，而临时表则用于处理会话级别的数据存储需求。
2024-03-10 20:51:56
1674
原创 JZ35 复杂链表的复制
/*public class RandomListNode { int label; RandomListNode next = null; RandomListNode random = null; RandomListNode(int label) { this.label = label; }}*/public class Solution { public RandomListNode Clone(RandomListNod.
2024-03-10 20:25:05
247
原创 JZ76 删除链表中重复的结点
/* public class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}*/import java.util.*;public class Solution { public ListNode deleteDuplication(ListNode pHead) { //初步想想法： 弄.
2024-03-10 20:24:12
176
原创 scala入门到放弃—06—高阶函数
文章目录高级函数字符串匿名函数Currying函数高阶函数高级函数字符串插值 val s ="hello" val name="jacksun" println(s+name) println(s+":"+name) println(s"hello:$name")多行字符串 //多行， var d = """ |1 |2 |3 |4 |5 |5 |6 """.st
2024-01-17 21:26:34
396
原创 Scala入门到放弃—05—模式匹配
模式匹配基本类型Java ： 对一个值进行条件判断例如switch模式匹配类似于Java的switch case。Scala的模式匹配不仅可以匹配值还可以匹配类型、从上到下顺序匹配，如果匹配到则不再往下匹配、都匹配不上时，会匹配到case _ ,相当于default、match 的最外面的{ }可以去掉看成一个语句。def match_test(m:Any) = { m match { case 1 => println("num 1 ")
2024-01-17 21:26:06
519
原创 Scala入门到放弃—04—集合
文章目录集合数组ListSetMapOptuon&Some&NoneTuple集合数组package org.exampleobject ArrayApp extends App{ //继承App后直接直接调用函数，不需要main //println("hello") val a = new Array[String](5) a(0)="hello" println(a(0)) val b = Array("hello","world") val c =
2024-01-10 21:18:12
975
2
原创 Scala入门到放弃—03—面向对象
文章目录面向对象概述类的定义和使用构造器继承和重写抽象类伴生类和伴生对象case和trait面向对象概述OO(Object Oriented)封装：属性、方法封装到类中，可设置访问级别继承：父类和子类之间的关系 ,重写多态：父类引用指向子类对象 ,开发框架基石Person person = new Person();User user = new User();Person person =new User();类的定义和使用package org.exampleobject O
2023-11-20 20:53:41
115
原创 Scala入门到放弃—02—函数
文章目录函数方法定义默认参数命名参数可变参数条件语句循环表达式函数方法定义def 方法名(参数: 参数类型): 返回值类型 = { //方法体 //最后一行作为返回值(不需要使用return)}def max(x: Int, y: Int): Int = { if(x > y) x else y}package org.exampleobject App { def main(args: Array[String]): Unit = { println
2023-10-24 09:00:22
193
原创 Scala入门到放弃—01—概述
文章目录概述什么是是Scala？为什么要使用Scala?配置环境安装测试附基本语法定义变量基本数据类型lazy在Scala中的应用概述什么是是Scala？https://www.scala-lang.org/Scala combines object-oriented and functional programming in one concise, high-level language. Scala’s static types help avoid bugs in complex appl
2023-07-06 20:33:50
383
2
原创 JZ18 删除链表的节点
import java.util.*;/* * public class ListNode { * int val; * ListNode next = null; * public ListNode(int val) { * this.val = val; * } * } */public class Solution { /** * 代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可 * * .
2022-12-07 21:00:00
493
原创 无影云电脑——云上安全办公
文章目录无影云桌面介绍安装新手体验特点区别改变无影云桌面介绍阿里云无影云桌面（ Elastic Desktop Service）的原产品名为弹性云桌面，融合了无影产品技术后更名升级。它可以为您提供易用、安全、高效的云上桌面服务，帮助您快速构建、高效管理桌面办公环境，提供安全、灵活的办公体系。安装新手体验特点即开即用：无需前期过度投资和基础设施建设，云上一键部署环境，即用即买，按需计费。多端访问：不受时间、地点和设备限制，可随时、随地通过多种客户端访问工作桌面。接入安全：通
2022-12-07 16:04:26
801
1
原创 大数据Spark面试题2023
Shuffle描述的是一个过程，表现多对多的依赖关系，是Map和Reduce两个阶段的纽带，是对数据重新分区的过程，将经过mapTask后，key值相同的数据重新划分到同一个partition中。Shuffle实现分为和，也可以自定义。shuffle简介:在 DAG 阶段以shuffle为界，划分 stage，上游 stage做 map task，每个maptask将计算结果数据分成多份，每一份对应到下游stage 的每个partition中，并将其临时写到磁盘,该过程叫做shuffle write。
2022-11-23 15:00:00
1243
原创 Presto: 是谁偷走了我的一天
最近在数据迁移的过程中遇到一个好玩的 当我们要计算两个日期的间隔的是时候需要调用一些数据分析组件内置的函数, 如下所示: 代码表示的含义很简单 就是计算8月9日和8月8日之间相隔天数, 但是这样的计算的结果竟然不相同: 竟然出现同样的时间段里比多一天这种情况. 即在分析中得到是相隔一天, 但是在分析中得到数据只有0天 .(组件版本号: )探究遇事不決 量子力学; 问题是小问题, 但是假如运用到生活的例子是你发工资的时候计算的时长, 这不就少计算一天. 为了打工人, 一定要找到是谁
2022-08-06 14:02:22
2458
4
原创 剑指 Offer 25. 合并两个排序的链表
/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */class Solution { public ListNode mergeTwoLists(ListNode l1, ListNode l2) { //设置两个指针，分别指向l1和.
2022-07-24 14:35:27
453
原创 大数据面试题——spark
讲一下spark 的运行架构????Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器???? Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。???? Driver： 运行Application 的main()函数???? Executor：执行器，是为某个Application运行在worker node上的一个进程一个spark程序的执行流程
2022-06-30 14:38:46
1745
5
原创 大数据学习规划
阶段时间技能输入输出SQL基础8.4-8.81.表关联方法和特性2.常用基础函数3.窗口函数4.常用优化策略5.hive数据存储格式及压缩格式和特点1、hive编程指南2、SQL 必知必会1、学习笔记2、考试ODEON平台使用8.4-8.81.sql测试方法2.workflow维护，报错如何查看3.workflow如何部署4.coordinate如何部署5.如何用金蝉平台运维odeon6.理解每一步的作用和用意1、odeon帮助文档2、wiki资料H-odeon....
2022-06-21 10:09:13
931
Git-2.30.2-32-bit.exe.zip（免积分）
2021-03-11
毕业设计，问答系统，百度知道，有代码，有数据库，有演示。（免积分）
2021-03-11
gallery.7z
2021-01-29
Git-2.29.2.3-64-bit.exe (免积分)
2020-12-27
大数据环境软件安装包
2020-07-28
火狐国际版(量子)Firefox Setup 58.0.1
2018-02-05
Python数据分析与挖掘实战(PDF+源代码).zip
2018-02-05
机器学习实战(中文版+英文版+源代码)
2018-01-31
机器学习实战.pdf
2018-01-23
常用数据挖掘算法总结及Python实现.pdf
2018-01-23
自然语言处理数据集（初中和高中数学）
2022-03-22
PHP毕业设计——许愿墙升级版（有源码）
2022-01-05
putty-64bit-0.75-installer、nacos-server-1.2.1、WinSCP-5.19-Setup、phpStudy_64
2021-07-26
408-2018-2009真题 打印无水印
2021-06-03
《巨人的陨落》人物表.pdf
2021-06-03
word1575破解助记左右神表何凯文刘一男(终稿).docx
2021-06-03
book118Downloader.zip
2021-06-03
Downloads.7z
2021-05-24
pdf2htmlEX-win32-0.14.6-upx-with-poppler-data (2).zip
2021-03-30
GitHubDesktopSetup.exe
2021-03-29
Xshell-7.0.0056p.exe.zip(免积分)
2021-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人