- 博客(46)
- 收藏
- 关注
RSS订阅原创 2024年5月份架构师考试论文真题完整版
三、论文1.关于大数据的，Lambda架构文老师押中了原题，几乎描述一致撰写关于Lambda架构的软考论文时，一个清晰且结构化的大纲是成功的关键。以下是一个简单的论文大纲示例，旨在覆盖Lambda架构的核心概念、设计原则、优缺点、实际应用案例以及对比其他架构（如Kappa架构）的分析：大纲简要介绍Lambda架构的基本概念及其在大数据处理领域的地位。概述论文的主要研究内容、目的及预期贡献。背景介绍：阐述大数据处理的挑战，特别是在实时性和历史数据一致性方面。
2024-06-05 17:11:09
1082
原创 2024年5月份架构师考试案例真题完整版
这种情况下，由于两个客户端的请求在一段时间内交替执行，每个客户端都等待另一个客户端释放锁，最终导致了死锁的产生。：通过区分数据的访问频率，企业可以将有限的预算投入到最关键的数据存储上，如使用SSD或RAM存储热数据，而冷数据则存储在磁带或蓝光光盘上，这样既能保证关键业务的性能，又能控制存储成本。：对于非结构化数据的分析和处理，MongoDB提供了丰富的聚合框架，支持复杂的数据转换和分析操作，如聚合管道、地图reduce等，便于从非结构化数据中提取有价值的信息。这块的瓦片数据没有说明是栅格瓦片还是矢量瓦片。
2024-06-05 17:04:32
2022
23
原创 2024年5月份架构师考试真题完整版
1.操作系统调度算法 选先来先服务调度算法1. 先来先服务(FCFS, First-Come, First-Served): 这是最简单的调度算法，按照进程到达就绪队列的顺序进行调度。它公平但可能不是最优的，因为没有考虑进程的执行时间，可能导致长进程等待时间过长。2. 短作业优先(SJF, Shortest Job First) / 短进程优先(SPF, Shortest Process First): 这种算法优先调度预计执行时间最短的进程。它可以最小化平均等待时间和周转时间，但是可能存在饥饿问题，即长进
2024-05-29 09:02:06
2221
4
原创 【pydoris安装错误】 Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGS env vars manually
在开发和编译 MySQL 客户端程序时，有时候需要手动指定 MYSQLCLIENT_CFLAGS 和 MYSQLCLIENT_LDFLAGS 环境变量。这两个环境变量用于指定编译和链接 MySQL 客户端程序时使用的头文件和库文件路径。这通常涉及到指定MySQL头文件和库文件的路径。如果安装脚本仍然无法找到MySQL开发库，你需要手动设置。
2024-04-19 10:31:48
427
原创 【HDFS WEB报错解决方案】Couldn‘t preview the file. NetworkError
检查网络连接确保客户端与服务器lindata01之间的网络连接是通畅的。尝试ping命令或其他网络工具来测试网络连接。验证服务器状态确认lindata01服务器上的WebHDFS服务是否正在运行。检查端口9864是否已开放且服务正在监听该端口。查看服务器日志文件，以获取任何关于服务启动或失败的信息。检查用户权限确认当前用户是否有权限访问服务器lindata01。检查HDFS文件系统的权限设置，确保用户有读取目标文件的权限。验证URL和参数。
2024-04-12 13:36:27
1529
原创 org.apache.flink.table.client.SqlClientException: Could not read from command line【Flink解决方案】
在启动Flink的SQL集群时遇到启动异常，可能的原因有多种。
2024-04-02 08:43:20
1169
4
原创 Doris语法总结(全)
Doris的语法涉及多个方面，包括数据库和表格的创建、数据的插入、数据模型的使用、集群管理以及建表时的分区方式等。创建数据库和表格创建数据库：使用语法。创建表格：使用语法。插入数据：在成功创建表格后，可以向表格中插入数据。具体插入数据的语法并未在提供的参考文章中详细说明，但通常会使用语句。数据模型Doris提供了三种数据模型：Aggregate、Uniq和Duplicate。Aggregate模型需要用户在建表时显式地将列分为Key列和Value列。
2024-03-29 10:54:24
1146
原创 【Turtle库】灯笼
在绘制过程中，我们还需要考虑如何合理地分解灯笼的形状，以便通过Turtle的基本命令来实现。Turtle库是Python中一个非常有趣且直观的绘图库，它允许用户通过编程的方式来绘制各种复杂的图形。在使用Turtle库绘制灯笼的过程中，我们不仅能够体验到编程的乐趣，还能够深入理解计算机图形学的基本原理。此外，绘制灯笼还让我们对传统文化有了更深的了解。灯笼作为中国传统文化的重要元素，具有丰富的象征意义和文化内涵。通过编程绘制灯笼，我们不仅能够欣赏到其美丽的外形，还能够感受到其中蕴含的深厚文化底蕴。
2024-03-29 09:58:32
306
原创 第二章Iceberg简介
Iceberg数据类型是在Apache Iceberg这一开源大数据表格管理库中定义的一系列数据格式，它们用于描述和存储表格中的数据。Iceberg旨在提供可扩展且可靠的方式来管理海量数据表格，因此其数据类型设计也充分考虑了大数据处理的需求。
2024-03-21 21:07:28
1035
原创 第1章 Iceberg简介
当我们改变一个表的分区策略时，对应修改分区之前的数据不会改变, 依然会采用老的分区策略，新的数据会采用新的分区策略，也就是说同一个表会有两种分区策略，旧数据采用旧分区策略，新数据采用新新分区策略, 在元数据里两个分区策略相互独立，不重合。因此，查询SQL的过滤条件除了常规的分区，列过滤，甚至可以下推到文件级别，大大加快了查询效率。借助Iceberg的隐藏分区（Hidden Partition），在写SQL 查询的时候，不需要在SQL中特别指定分区过滤条件，Iceberg会自动分区，过滤掉不需要的数据。
2024-03-20 20:53:22
766
原创 Hadoop生态选择（一）
技术选型主要考虑因素:维护成本、总成本预算、数据量大小、业务需求、行业内经验、技术成熟度。FlumeKafkaDataXMaxwellMySQLHDFSHive，SparkFlinkPrestoClickHouseSupersetSugarZabbixPrometheus(1)Apache:运维麻烦，组件间兼容性需要自己调研。(一般大厂使用，技术实力雄厚，有专业的运维人员)(建议使用)(2)CDH:国内使用最多的版本，但CM不开源，2020年开始收费，一个节点1万美金/年。
2024-03-09 19:37:19
507
原创 OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
（说明：如果可以联网，可以通过网络 yum 安装所需依赖包，既可以跳过本步骤。
2024-02-09 22:45:28
1023
原创 OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(一)
说明：本文章是参考官方安装文档，根据个人电脑实际安装的过程记录；不代表官方声明，读者在安装时有可能会因为环境差异而安装失败，如有异议请查阅官方文档。
2024-02-05 17:23:06
858
原创 【Internal Server Error】pycharm解决关闭flask端口依然占用问题
我们在运行flask后，断开服务依然保持运行，这是因为这是一种伪断开，只是在pycharm这里中止了，但是python解释器依旧在运行这个服务。
2024-01-08 22:11:47
2165
原创 【解决方案】 无法将“pip“项识别为 cmdlet、函数、脚本文件
无法将“pip"项识别为 cmdlet、函数、脚本文件的问题，通常是由于环境变量中缺失pip的路径所导致的。要解决这个问题，需要将pip的安装路径添加到环境变量中。具体操作方法可能因操作系统而异，但一般需要编辑系统环境变量，将pip的路径添加到Path环境变量中。如果不想将整个Python安装路径添加到环境变量中，只添加pip的路径即可。完成添加后，重新打开终端或命令提示符窗口，然后尝试再次运行pip命令。
2024-01-08 21:44:40
6818
原创 【Python机器学习】基于随机森林全球经济危机预测
基于随机森林的全球经济危机预测项目，利用随机森林算法，通过集成学习提高了预测的稳定性和准确性。项目收集了全球多个国家的历史经济数据，并构建了预测模型。通过与其它预测方法的比较，随机森林在准确率和召回率上表现优秀，成功预测了近五次全球危机中的四次。该模型不仅具有高准确性，还具备良好的解释性。项目成果已被多家金融机构和政策制定部门采纳，为全球经济的稳定和持续发展提供了有力支持。未来，计划进一步提高预测精度，探索与其他先进算法的结合使用。
2024-01-07 16:09:44
926
原创 AttributeError: ‘NoneType‘ object has no attribute ‘split‘
出现这个错误的原因是在你的代码中，某个应该为字符串的对象实际上是None。当你尝试对这个None类型的对象调用split方法时，Python解释器无法找到该方法，从而抛出AttributeError: 'NoneType' object has no attribute 'split'错误。
2024-01-06 23:41:25
2338
原创 【cannot import name ‘_MissingValues‘ from ‘sklearn.utils._param_validation‘ 】完美解决
已解决cannot import name '_MissingValues' from 'sklearn.utils._param_validation' 报错处理这是一个常见的Python导入错误。从错误信息来看，问题出在尝试从导入时。这个问题可能是由于你使用的库版本与库版本不兼容导致的。是在的某些版本中使用的，但是可能在你当前的版本中不存在。重新安装库匹配版本。
2024-01-06 21:24:59
3532
2
原创 【Turtle库】海绵宝宝
随着项目的完成，我们对于使用Python绘制海绵宝宝有了更深入的理解和体验。这个项目不仅让我们感受到了编程的乐趣，也让我们重新认识了海绵宝宝这个经典角色。在项目实施过程中，我们遇到了许多挑战，例如如何精确地绘制海绵宝宝的细节，如何实现其动态效果等。然而，通过不断地尝试和改进，我们最终成功地完成了这个项目。在这个过程中，我们学到了许多Python编程技巧，例如如何使用循环和条件判断来绘制复杂的图形，如何使用Python的图形库来实现动态效果等。
2024-01-05 23:50:47
495
原创 【Turtle库】圣诞树
随着冬季的来临，我们决定使用Python编程语言绘制一棵美丽的圣诞树。这个项目不仅让我们感受到技术的魅力，同时也让我们体验到编程带来的乐趣。首先，我们选择了Python的turtle模块，因为它的图形绘制功能非常适合我们的需求。通过使用turtle，我们可以精确地控制圣诞树的形状、大小和颜色。在实施过程中，我们首先定义了一个函数来绘制圣诞树的每一层。这个函数使用循环来绘制多个小三角形，以形成树冠。接着，我们定义了另一个函数来绘制树干，并确保画笔的方向和位置都调整到正确的角度和位置。
2024-01-05 23:34:37
595
原创 【Turtle库】皮卡丘
在这个例子中，我们使用Python的Turtle库来绘制一个简单的皮卡丘图形。我们首先定义了几个绘制基本形状的函数，包括绘制圆形、椭圆形和矩形。然后，我们使用这些函数来绘制皮卡丘的脸部、耳朵和身体部分。在绘制皮卡丘脸部时，我们首先使用一个圆形来表示脸部中央部分，然后使用一个圆形来表示脸部的高光部分。通过设置高光部分的填充颜色为白色，可以增加暗部和亮部的对比度，使脸部看起来更立体。接下来，我们绘制皮卡丘的耳朵部分。我们使用两个半圆形来表示耳朵的外侧和内侧，并使用一个矩形来表示耳朵的根部。
2024-01-04 21:14:37
650
原创 【Python库】pillow (PIL)库的用法介绍
Pillow库作为Python中重要的图像处理工具，在其丰富的功能和广泛的应用领域中扮演着关键角色。其强大的图像处理功能，包括打开、编辑、保存、调整尺寸、滤镜应用、合成等，赋予用户处理各种图像任务的能力。支持多种图像格式，使其适用于处理不同格式的图像文件。
2024-01-04 17:15:17
1119
原创 Python数据处理 ——展现Pandas 的强大
print(np.__version__) # 查看NumPy版本print(pd.__version__) # 查看Pandas版本1.2 使用Pandas读取csv文件，了解Pandas的数据结构： DataFrame 和 Seriesdf以上代码构建了一个带标签的二维数据表格。总分、学号、性别、操作系统、算法分析与设计、数据仓库与挖掘技术、平均分是每列数据的标签，所有列的标签称为列名；0-19是每一行数据的标签，所有行的标签称为索引。这个带标签的二维数据表格就是Pandas最核心的数据结构。
2024-01-03 22:39:56
394
原创 【Python机器学习】基于SVD建立商品推荐系统
本文基于矩阵分解模型，建立了一个高效的商品推荐系统。通过深入分析用户-商品交互数据，我们发现矩阵分解模型能够有效地捕捉用户和商品之间的非线性关系，从而提供更准确的推荐。首先，我们利用矩阵分解将用户-商品交互矩阵分解为用户因子矩阵和商品因子矩阵的乘积，以捕捉用户和商品的潜在特征。然后，通过预测用户对商品的评分，我们可以生成个性化的商品推荐列表。实验结果表明，与传统的基于内容的推荐和协同过滤推荐相比，基于矩阵分解的推荐系统在准确度、召回率和用户满意度方面均表现出优越的性能。因此，本文提出的基于矩阵分解的商品推荐
2024-01-03 22:15:04
1153
2
原创 【Python可视化实战】共享单车可视化
共享单车可视化项目旨在通过数据可视化的方式，全面展示共享单车的使用情况，帮助用户更好地理解和利用共享单车资源。我们将收集共享单车的使用数据，进行数据处理，并利用多种可视化方式展示车辆分布、使用频率、使用时间等信息
2024-01-02 22:01:14
2630
6
原创 【Python可视化实战】钻石数据可视化
本研究旨在深入了解钻石价格的决定因素。通过收集大量关于钻石的特征数据，包括重量、颜色、刀工等，并进行数据清洗和整理，我们利用Matplotlib和Seaborn进行了数据可视化，以探索各特征与钻石价格之间的关系。研究结果表明，钻石特征与价格之间存在一定的关系，重量和颜色对价格有显著影响。同时，数据可视化技术为我们提供了直观、深入的洞察力，帮助我们更好地理解钻石市场的运作。本研究对于相关行业的从业人员具有参考价值，同时也提升了我们对数据处理和数据可视化的理解和应用能力。
2023-12-31 11:51:35
1459
原创 【Python可视化实战】葡萄酒品质数据分析
本次案例是一个使用葡萄酒品质数据集的项目，旨在分析各种因素对葡萄酒品质的影响。数据集包含1599种红葡萄酒的信息，包括各种测量值和品质得分。测量值对葡萄酒品质有显著影响，较高的固定酸度和挥发性酸度通常会导致较高的品质得分，而较低的pH值则可能导致较低的品质得分。这些结果有助于理解葡萄酒的化学组成如何影响其口感和品质。
2023-12-30 22:01:49
1574
2
原创 【Python案例实战】水质安全分析及建模预测
本研究探讨了水质安全与人类健康的关系，并强调了建模预测在水质安全分析中的重要性。首先，介绍了水资源的重要性和水质安全与人类健康的密切关系。接着，阐述了建模预测在水质安全分析中的必要性，并指出其可以预测未来的水质状况，为水质管理和保护提供科学依据。随后，详细探讨了水质安全分析的多个方面，包括水质标准与指标、检测方法、污染源分析和风险评估等。最后，提出了一个具体的问题描述，即预测水是否安全，并计划使用机器学习算法进行预测。整个研究为理解水质安全问题提供了全面的视角，并为后续的水质管理和保护提供
2023-12-29 20:48:37
1798
1
原创 高中教学分析系统数据可视化探索【可视化实战案例】
教育行业中大数据分析的主要目的包括改善学生成绩、服务教务设计、优化学生服务等。而学生成绩中有一系列重要的信息往往被我们常规研究所忽视。通过大数据分析和可视化展示，挖掘重要信息，改善 学生服务，对于教学改进意义重大。美国教育部门构建“学习分析系统”，旨在向教育工作者提供了解学生到底是在怎样学习的更好、更好、更精确信息。利用大数据的分析学习能够向教育工作者提供有用的信息，从而帮助其回答众多不易回答的现实问题。
2023-05-18 15:43:40
1063
2
原创 打印出所有的“水仙花数”，所谓“水仙花数”是指一个三位数，其各位数字立方和等于该数本身。例如：153是一个“水仙花数”，因为153=1的三次方＋5的三次方＋3的三次方。
6.题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？程序分析：使用枚举方法进行枚举，在1000范围内进行判断，先将数加上100开方，在将数加上268开方，结果转整型，如果两者平方等于结果，即为结果。2.题目：一个整数，它加上100后是一个完全平方数，再加上268又是一个完全平方数，请问该数是多少？程序分析：总过有四个数字，分别填在百位、十位、个位上，将不符合条件的三位数去除就剩下目标结果。
2023-05-08 16:33:24
1848
原创 Anconda虚拟环境配置【建议收藏】
（1）好的虚拟环境配置习惯可以让每一个项目都有独立的干净环境，对环境中缺少的库可以复制其他虚拟环境的库进行批量创建，或者使用requestment.txt文件进行环境配置。（2）配置好的虚拟环境可以放到u盘携带，使用时只需要把环境文件复制到Anaconda3文件下的envs文件夹下即可完成环境移植。
2023-05-07 12:46:44
1574
原创 PySpark 数据处理
本文会试着介绍使用PySpark处理和整理数据的所有主要步骤。虽然在本文的数据使用量相对较小，但使用PySpark处理大型数据集的步骤几乎是相同的。数据处理是执行机器学习所需的至关重要的步骤，因为我们获取的数据可能存在噪音，通过对数据进行清洗、过滤、合并和转换，以便将它们整理成期望的格式，这样才能够训练出更好效果的机器学习模型。我们要充分利用多个PySpark函数来执行数据处理。
2023-05-04 16:21:20
442
原创 Jupyter下载html错误The error was:nbconvert failed: no filter named ‘escape_html_keep_quotes‘（解决方案）
2023/5/3日在写完代码后根据客户要求转换文件类型保存发现的错误，如下图所示。推测他的原因是nbconvert这个工具的版本原因。为什么会有这样的推测呢？因为在jupyter底层转换中这个工具的作用是用来转换文件类型的。并且从提示中也可以看出是这个库的问题。
2023-05-03 22:11:26
1050
5
原创 PyCharm添加Anaconda中的虚拟环境，Python解释器出现Conda executable is not found（解决方案）
项目场景：在使用Anconda配置好虚拟环境后，需要添加到PyCharm中遇到的问题。作者是在创建新项目的时候，选择conda环境出现Conda executable is not found的错误，本机Window10系统安装PySpark环境。作者猜测原因：本机中没有配置全局Anconda环境，识别不出conda.exe文件（本机Anconda安装在D盘） 解决步骤：其中作者发现及时环境下存在python.exe文件，但是配置中无法识别，所以直接选择conda.exe文件。但是有文章还有其他选法选择根目
2023-04-21 11:31:49
14241
52
原创 Linux练习题
ABC makefile文件保存了编译器和连接器的参数选项,还表述了所有源文件之间的关系(源代码文件需要的特定的包含文件,可执行文件要求包含的目标文件模块及库等).创建程序(make程序)首先读取makefile文件,然后再激活编译器,汇编器,资源编译器和连接器以便产生最后的输出,最后输出并生成的通常是可执行文件.创建程序利用内置的推理规则来激活编译器,以便通过对特定CPP文件的编译来产生特定的OBJ文件. Makefile里主要包含了五个东西：显式规则、隐晦规则、变量定义、文件指示和注释。
2023-04-20 21:09:28
279
原创 Python pd.merge()函数介绍（全）
在数据合并操作中，有两个操作函数和pd.merge()这两个函数在使用过程中经常会拿来比较，只要我们弄懂了其中重要参数的意义，理解每一个函数的用法，就能做到在那种环境适用那个函数,让我们通过本文深入理解pd.merge().参数表参数名作用left拼接的左侧DataFrame对象right拼接的右侧DataFrame对象on要加入的列或索引级别名称。必须在左侧和右侧DataFrame对象中找到。
2023-04-15 10:43:50
10371
OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
2024-02-09
OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
2024-02-09
OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
2024-02-09
OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
2024-02-09
OpenEuler20.03LTS SP2 上安装 OpenGauss3.0.0 单机部署过程(二)
2024-02-09
小米网站设计资源可提供下载
2024-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人