- 博客(140)
- 收藏
- 关注
RSS订阅原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day24】——Spark11_作业由于频繁的gc导(2)
本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。
2024-05-01 03:26:22
585
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day24】——Spark11_作业由于频繁的gc导(1)
本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。
2024-05-01 03:25:51
491
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day21】——Spark8_yarn中application有几种类型的container
今天我们复习了面试中常考的Spark相关的五个问题，你做到心中有数了么？其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在面试期间尴尬！平时不流汗,面试多流泪!对了，如果你的朋友也在准备面试，请将这个系列扔给他，打卡。给同学们以激励。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-01 03:24:48
781
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day20】——Spark7_spark面试题
今天我们复习了面试中常考的Spark相关的五个问题，你做到心中有数了么？其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在面试期间尴尬！平时不流汗,面试多流泪!对了，如果你的朋友也在准备面试，请将这个系列扔给他，打卡。给同学们以激励。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-01 03:24:17
544
原创 入门ClickHouse和Elasticsearch
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，这里需要注意的是列式数据库，我们常用的数据库如：MySQL、Postgres和MS SQL Server都是行式数据库行式存储数据库：处于同一行中的数据总是被物理的存储在一起。列式存储数据库：来自不同列的值被单独存储，来自同一列的数据被存储在一起。
2024-04-30 16:50:22
741
原创 入门ClickHouse和Elasticsearch(1)
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，这里需要注意的是列式数据库，我们常用的数据库如：MySQL、Postgres和MS SQL Server都是行式数据库行式存储数据库：处于同一行中的数据总是被物理的存储在一起。列式存储数据库：来自不同列的值被单独存储，来自同一列的数据被存储在一起。
2024-04-30 16:49:51
246
原创 做了8年前端，感谢那些优秀的后端，陪伴我工作，教会我成长_myeclipse是前端还是后端
3 有一次后端需要返回时间字段，因为项目中有显示年月的，有显示年月日的，有的地方还要把时分秒显示出来，而且前端一共4端，（安卓，IOS，M，PC），当时前端就准备写规范，说给我们一个统一的返回，我们做一些处理。后端大哥很快看出来我的窘迫，给我找了一个例子，那次我才知道，原来这样可以遍历一个map，其实现在想想，那个时候还真是low透了。其实他本不需要去公司的，但这种协作的精神，我至今还记得，后来就很少碰到了，不知道这位后端大哥现在怎么样了，好久不联系了。我说不怎么看，只是处于表面的使用，还算熟练吧。
2024-04-30 16:45:30
472
原创 【Kafka面试演练】那Kafka消费者手动提交、自动提交有什么区别？(2)
是这样的，Kafka的相比同步提交，不需要在brocker响应前阻塞线程。但是异步提交我们是不知道消费情况的，所以就可以在Kafka消费异常时，通过其来告知程序，从而进行日志记录。面试官思考中…
2024-04-30 08:18:52
597
原创 【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗(1)
/ 非池化可用的内存即 totalMemory 减去 free 列表中的全部 ByteBuffer 的大小。// 若当前的 ByteBuffer 是 16KB 的，直接放入 free 缓存池。// 此队列记录因申请不到足够空间而阻塞的线程对应的 Condition 对象。// 当前BufferPool管理的单个ByteBuffer大小，16k。// 1. 如果当前申请的内存大于总内存，则直接报错。// 默认的池外内存，就是总的内存。// 唤醒下一个等待内存分配的线程。// 返回缓存的操作。
2024-04-30 08:17:50
276
原创 【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起
具体的细节如上，更多的细节可以参考上面那篇博客。
2024-04-30 08:17:19
252
原创 【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起(1)
不难看出，我们Kafka生产者最终的网络架构也是使用的Java NIO，和我们的Netty殊途同归。至于kafka为什么不用Netty做通信组件，这个之间在已经讲过，此处不再叙述，有兴趣的同学可以跳转阅读。
2024-04-30 08:16:48
781
原创 Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化
Flink程序开发的流程总结如下：1）获得一个执行环境2）加载/创建初始化数据3）指定数据操作的算子4）指定结果数据存放位置5）调用execute()触发执行程序注意：Flink程序是延迟计算的，只有最后调用execute()方法的时候才会真正触发执行程序。
2024-04-29 23:17:49
520
原创 Flink cdc3
多次执行 start-cluster.sh 可以拉起多个 TaskManager，保证Total Task Slots >= 2, 不然提交任务会有资源不足异常，比如我这里执行了3次。，解压后得到 flink-1.18.0 目录。如果有安装这两个组件，就可以免去docker，接下来的教程将以 docker-compose 的方式准备所需要的组件。打开 Doris 的 Web UI，可以看到数据表已经被创建出来，数据能成功写入。Doris 暂时不支持自动创建数据库，需要先创建写入表对应的数据库。
2024-04-29 23:16:46
662
原创 Flink cdc3(3)
通过在配置文件追加下列参数开启 checkpoint，每隔 3 秒做一次 checkpoint，方便后续观察数据变更。使用下面的命令启动 Flink 集群。启动成功的话，可以在访问到 Flink Web UI，如下所示：多次执行 start-cluster.sh 可以拉起多个 TaskManager，保证Total Task Slots >= 2, 不然提交任务会有资源不足异常，比如我这里执行了3次。或者是修改资源配置。
2024-04-29 23:16:15
482
原创 Flink CDC 高频面试题_flinkcdc面试
CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原生支持 CDC 数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。Flink CDC Connectors 是 Flink 的一组 Source 连接器，是 Flink CDC 的核心组件，这些连接器负责从等数据库读取存量历史数据和增量变更数据。
2024-04-29 23:14:30
514
原创 机器学习概述
一行数据我们称为一个样本一列数据我们成为一个特征有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）
2024-04-29 03:21:39
349
原创 本地项目如何上传到Gitlab详细过程步骤_gitlab上传本地项目
场景介绍：大家在团队开发及一些代码需要进行备份（防止被删之后找不到的情况下）这时候就需要将你的项目上传到Gitlab上，这个教程肯定对你有用。
2024-04-29 03:21:08
216
原创 最终篇：简洁易懂，初学者挑战学习Python编程30天 (五)_自学入门不在困难,初学者挑战学习python编程30天世上本无鬼
从 flask 导入 flask import Flask , render_templateimport os # 导入操作系统模块@app.route(‘/’) # 这个装饰器创建 home 路由返回 render_template（‘about.html’）如果#部署，我们使用ENVIRON#使之成为生产和开发工作。
2024-04-29 03:19:26
964
原创 最终篇：简洁易懂，初学者挑战学习Python编程30天 (五)_自学入门不在困难,初学者挑战学习python编程30天世上本无鬼(1)
现在，它已准备好部署。在 heroku 上部署应用程序的步骤这个步骤后，你会得到这样一个应用程序。
2024-04-29 03:18:54
546
原创 优化大数据量页面卡顿：探索新的虚拟列表实现方法_有做过虚拟列表吗 假设数据的高度不是固定的要怎么处理
【代码】优化大数据量页面卡顿：探索新的虚拟列表实现方法_有做过虚拟列表吗 假设数据的高度不是固定的要怎么处理。
2024-04-28 14:06:49
57
原创 从零开始搭建flink流式计算项目-2小试牛刀-物联网场景下,如何实现设备采集参数监控报警功能
触发报警的采集变量名称。// 仅针对部分设备监控。##### 报警事件。* 触发报警的采集值。* 获取物联采集数据。
2024-04-28 14:06:18
335
原创 从JVM底层原理分析数值交换那些事·Java大数据高级架构师
而swap(a,b)执行结束之后，该方法的堆栈会被弹出虚拟机栈，此时虚拟机栈又剩下main()方法的栈帧，由于基础数据类型的数值相当于存在局部变量中，swap(a,b)栈帧中的局部变量不会影响main()方法的栈帧中的局部变量，所以，就算你在swap(a,b)中交换了，也不会变。而两者交换之后，其实是SwapInteger(a,b)栈帧中的a里面存的地址引用变了，指向了b，但是b里面的，指向了a。一开始，我以为String不会变是因为final修饰的，但是实际上，不变是对的，但是不是这个原因。
2024-04-28 14:02:10
579
原创 【分析BMI指数~python】_pythonbmi(1)
gradeBmis = [[(‘20级大数据一班’, “王平”, 1.66, 55), (‘20级大数据一班’, ‘王恰’, 1.65, 52), (‘20级大数据一班’, ‘周馓’, 1.75, 66)],[(‘20级大数据二班’, “仁济”, 1.66, 64), (‘20级大数据二班’, ‘范德萨’, 1.72, 66), (‘20级大数据二班’, ‘陈琳’, 1.76, 56)]]print(“\n---------------班级分割线----------------”)
2024-04-28 08:56:32
857
原创 【全栈计划 —— 编程语言之C#】基础入门知识一文懂_vs的蓝色跟紫色
Visual Studio是目前最流行的Windows平台应用程序的集成开发环境。提供了高级开发工具、调试功能、数据库功能和创新功能，帮助在各种平台上快速创建当前最先进的应用程序，开发新的程序。visual studio code集成了所有一款现代编辑器所应该具备的特性，包括语法高亮，可定制的热键绑定，括号匹配以及代码片段收集，这款编辑器也拥有对 Git 的开箱即用的支持。
2024-04-28 08:54:48
844
原创 Git命令：自用整理(仅供参考)
git commit -m “提交信息”git reset HEAD~3 #重置3个本地提交git pushgit loggit log --oneline #查看简洁版提交信息git diff #比较工作区和暂存区文件的差异（默认）git diff HEAD #比较工作区和版本库文件的差异。
2024-04-27 23:19:18
273
原创 Git命令：自用整理(仅供参考)(1)
git branch -m git add git add . #将所有文件添加到暂存区git pullgit statusgit commit -m “提交信息”git reset HEAD~3 #重置3个本地提交git pushgit loggit log --oneline #查看简洁版提交信息。
2024-04-27 23:18:47
404
原创 GIT分布式版本控制系统 命令讲解入门_cvi git
(img-p5qgjksn-1714231077802)](img-LHZhc4I6-1714231077802)](img-q7W884fP-1714231077803)]git remote -v #查看当前所有进程地址别名。git remote add 别名 远程地址 #起别名。将暂存区文件提交到本地库。检测有文件有两处修改。
2024-04-27 23:18:17
746
原创 鸿蒙开发入门 开发第一个鸿蒙应用+页面跳转(1)
在设备列表中，选择设备P40，并单击按钮，运行模拟器，如图8所示。■ 图8 运行模拟器单击DevEco Studio工具栏中的按钮运行工程，或使用默认快捷键Shift+F10运行工程，如图9所示。■ 图9 运行工程到模拟器DevEco Studio会启动应用的编译构建，完成后应用即可运行在模拟器上，如图10所示。■ 图10 工程运行成功页面鸿蒙操作系统提供了两种FA(Feature Ability)的UI开发框架: Java UI框架和JS UI框架，如表1所示。
2024-04-27 17:10:40
513
原创 高级DBA教你clickhouse数据库查询正在执行的SQL语句的汇总方法全网最详细_clickhouse 代码中实现 查询进度
elapsedquery请注意，这只是一个基本示例，具体的查询可能会根据你的 ClickHouse 安装和配置而有所不同。你可以查阅 ClickHouse 的官方文档或系统表的定义来获取更准确的信息。
2024-04-27 17:08:20
578
原创 高架学习笔记之信息系统分类概览_管理信息系统开环结构
从信息系统的发展和系统特点来看，传统的信息系统可分为业务处理系统、管理信息系统、决策支持系统、专家系统和办公自动化系统5类，这5类经历了一个从低级到高级，从局部到全局，从简单到复杂的过程，本文将就这5类信息系统做一些详细的介绍，并扩展一些其他的综合性信息系统。
2024-04-27 17:07:20
999
原创 高效读取大数据量excle2007文件的解决方案
需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据。throw new IllegalAccessException(“暂不支持XLS文件”);接口处理业务逻辑即可，这里我们还可以进一步对其进行封装实现数据的分段处理。实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给。方法，在原本的类中，该方法没有任何操作，在扩展类中，我们调用。方法来处理excle读取完毕时的业务逻辑。接口，此接口基于行来处理excle数据。
2024-04-27 17:06:50
988
原创 大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行_hadoopjava项目打包jar
【代码】大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行_hadoopjava项目打包jar。
2024-04-27 11:48:16
348
原创 从零学大数据系列之数据库篇---第二章 MySQL高级_千锋教育 数据库高级特性(1)
B.,B.,B.,B.在做关联查询时，使用有关系的字段进行等值条件的限制操作。我们称之为等值查询。select A.,B.语法： from tableName1 [inner] join tableName2 on 条件 注意:与等值查询的效果是一样的。语法：左外连接from tableName1 left join tableName2 on 条件右外连接from tableName1 right join tableName2 on 条件外连接的两张表分为驱动表和从动表。
2024-04-27 09:44:59
725
原创 【手把手带你学JavaSE系列】练习项目—图书管理系统_练习系统 手把手
用户包括管理员和普通用户，书要有放书的书架，不同的用户有不同的操作。首先我们想到的对象就是用户和书。接下来我们就要实现这些操作。
2024-04-27 07:46:30
173
原创 【Hadoop】（五）MapReduce 如何解决数据倾斜问题_mapreduce 数据倾斜
简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举个 word count 的入门例子，它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现的次数。若进行 word count 的文本有100G，其中 80G 全部是 “aaa” 剩下 20G 是其余单词，那就会形成 80G 的数据量交给一个 reduce 进行相加，其余 20G 根据 key 不同分散到不同 reduce 进行相加的情况。
2024-04-27 05:52:16
865
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人