普通网友-CSDN博客

原创最新Pandas - 数据分组统计_pandas分组计数(1)，最新BAT大厂面试者整理的大数据开发面试题目

（1）根据特定条件，将数据拆分成组（2）每个组都可以独立应用函数（如求和函数sum()，均值函数mean()等）（3）将结果合并到一个数据结构中示例1:根据“一级分类”对订单数据进行分组统计求和。示例2:按照图书“一级分类”和“二级分类”对订单数据进行分组统计求和示例3:求各二级分类的七天点击量。首先按“二级分类”分类，而后进行分组统计求和。

2024-05-16 06:32:26 397

原创最新openCV实践项目：银行卡卡号识别_thresh,ref= cv2(1)，2024年最新建议收藏

ret, dst：返回阈值、输出图。src：输入图，只能输入单通道图像，通常来说为灰度图。thresh：阈值。maxval：当像素值超过了阈值（或者小于阈值，根据type来决定），所赋予的值。

2024-05-16 06:31:53 734

原创最新nnUNet保姆级使用教程！从环境配置到训练与推理（新手必看），读完我这份《大数据开发开发核心源码精编解析》面试至少多要3K

本人初步接触深度学习与医学图像分割领域，第一个项目就是运用nnUNet网络对BrainTumour的数据集进行分割，在学习的过程中，学了很多资料，踩了很多坑，也解决了很多bug，在此把自己的学习经验分享出来，希望有需要的同学可以少走一些弯路。本篇博客的操作均在服务器的linux系统（Ubuntu）上进行。作者的建议也是使用linux系统。本篇文章使用的数据集为Medical Segmentation Decathlon比赛的Task01_BrainTumour数据集。

2024-05-16 06:31:20 916

原创最新Nginx入门指南_nginx 入门指南(1)，2024年最新你还看不明白

nginx由模块组成，这些模块由配置文件中指定的指令控制。指令分为简单指令和块指令。一个简单的指令由名称和参数组成，这些名称和参数由空格分隔，并以分号(;)结尾。块指令具有与简单指令相同的结构，但它的结尾不是分号，而是一组由大括号({、})包围的附加指令。如果一个块指令在大括号中包含其他指令，则这个块指令又叫做上下文 (例如: events, http, server, 和location).放在任何上下文之外的配置文件中的指令被认为是在主上下文中。

2024-05-16 06:30:47 542

原创大数据毕业设计之前端05：Vue中如何加载本地svg图标_前端优化svg加载(2)

在components/icon/svg目录下，实现了一个svg的component，定义html原生的svg标签。下的中的href属性，需要指定的是svg图标的名字，而绑定的iconName，可以看到是引用的是props.name，即是通过父组件传过来的name属性。至于size和color都是默认值。本篇文章主要讲了本地svg文件，如何通过Icon来渲染成图标，这一块与BuildAdmin的实现是完全不同的，就像在第一篇文章所写的，学习别人的东西，可以理解后照抄，但遇到问题也能自己解决。

2024-05-15 21:44:31 483

原创大数据毕业设计之前端05：Vue中如何加载本地svg图标_前端优化svg加载(1)

在components/icon/svg目录下，实现了一个svg的component，定义html原生的svg标签。下的中的href属性，需要指定的是svg图标的名字，而绑定的iconName，可以看到是引用的是props.name，即是通过父组件传过来的name属性。至于size和color都是默认值。

2024-05-15 21:43:58 718

原创大数据毕业设计-数据类岗位需求可视化大屏_大数据可视化毕业设计(2)

利用python爬取数据并进行清洗和预处理，将清洗后的数据存到mysql数据库中，后端利用springboot框架，用Echarts实现数据可视化。

2024-05-15 21:43:25 132

原创大数据毕业设计-数据类岗位需求可视化大屏_大数据可视化毕业设计(1)

数据开发、数据分析、ETL、数据仓库、数据挖掘、“ETL工程师”,“数据仓库”,.csv(“file:\D:\桌面文件\毕设\数据\招聘数据.csv”)print(“开始爬取”+str(job)+“的岗位信息”)# 北京、上海、广州、深圳、杭州、天津、西安、# 苏州、武汉、厦门、长沙、成都、郑州、重庆。job_name = [“数据挖掘”]

2024-05-15 21:42:51 434

原创大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day14】—(1)

join其实常见的就分为两类： map-side join 和 reduce-side join。当大表和小表join时，用map-side join能显著提高效率。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去，也就是shuffle 的过程。造成大量的网络以及磁盘IO消耗，运行效率极其低下，这个过程一般被称为 reduce-side-join。

2024-05-15 10:59:03 230

原创大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day13】—(3)

大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，很多学生已经进入暑假模式，暑假也不能懈怠，正值金九银十的秋招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。道阻且长，行则将至；行而不辍，未来可期！本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。

2024-05-15 10:58:27 211

原创大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day13】—(2)

•BulkLoad是指将数据直接转换为StoreFile文件，放入Hbase中，不经过Hbase的内存，避免大量数据进入内存，又从内存进入HDFS•应用：大数据量批量写入Hbase今天我们复习了面试中常考的Hbase相关的五个问题，你做到心中有数了么？其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在吹水群甚至都没有谈资！既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2024-05-15 10:57:51 361

原创大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day13】—(1)

•BulkLoad是指将数据直接转换为StoreFile文件，放入Hbase中，不经过Hbase的内存，避免大量数据进入内存，又从内存进入HDFS•应用：大数据量批量写入Hbase既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取。

2024-05-15 10:57:15 314

原创【前端基础小案例】HTML+CSS打造精美选项卡菜单效果_选项卡效果html代码

* ========注意：相邻两个选项卡中字体宽度不一样，所以span宽度不能写死 *//* ========鼠标点击的效果需要js实现，这里我们只写交互的原理 */(img-NHTxiUfk-1715710810377)](img-JHxtM2bD-1715710810377)]/* =========同时需要再单独给span设置字体大小 */========添加class="current"/* =========给div添加文本居中 *//* 同时需要再单独给span设置字体大小 */

2024-05-15 02:20:32 884

原创【前沿技术RPA】万字吃透UiPath如何处理异常_uipath的异常处理(2)

只要不满足条件或引发错误，活动就会重试包含的活动。此活动用于捕获和处理错误，这就是它类似于TryCatch的原因。不同的是，该活动只是重试执行，而不是提供更复杂的处理机制。该活动有两个主要部分行动和条件。它可以在没有终止条件的情况下使用，在这种情况下，它将重试活动，直到没有异常发生或超过所提供的尝试次数。它还有两个附加属性和。下图显示了UiPath Studio中使用的重试范围活动及其属性。首先是行动部分。这一部分只是一个序列，我们可以在其中放入任意多的活动。这些活动将至少进行一次。

2024-05-15 02:19:56 917

原创【前沿技术RPA】万字吃透UiPath如何处理异常_uipath的异常处理(1)

TryCatch活动捕获序列或活动中指定的异常类型，并显示错误通知或将其取消并继续执行。作为一种机制，TryCatch运行Try块中的活动，如果发生错误，则执行Catches块中的行为。Finally块仅在未引发异常或在Catches块中捕获并处理异常时执行（不重新引发）。只要不满足条件或引发错误，活动就会重试包含的活动。此活动用于捕获和处理错误，这就是它类似于TryCatch的原因。不同的是，该活动只是重试执行，而不是提供更复杂的处理机制。该活动有两个主要部分行动和条件。

2024-05-15 02:19:20 903

原创【前沿技术RPA】一文学会用UiPath实现PDF自动化_uipath入门到精通pdf

首先，确保安装了处理 PDF 文件所需的所有活动和依赖项。如果活动面板中的搜索PDF结果为空，则意味着您必须安装它们。只需，然后。单击之后，务必单击，以便实际安装活动集，并更新项目依赖项。我们可以看到，要使用的最低Studio版本是2018.4.4或2019.2。在以前的Studio版本上安装包可能会导致问题。接下来，您可能已经意识到这样一个事实：PDF 文件可以包含，有时还可以包含实际上是秘密图像的文本。一种基本的识别方法是直接选择您感兴趣的元素。如您所见，选择文本很方便，而图像会作为块立即显现出来。

2024-05-15 02:18:44 733

原创 Java学习----（六）抽象类，接口以及抽象类和接口的区别_抽象类和接口代码举例的区别(2)

接口可以解耦合，解开的是谁和谁的耦合。任何一个接口都有调用者和实现者，接口可以将调用者和实现者解耦合，调用者面向接口调用，实现者面向接口编写实现。主板和内存条之间有插槽，这个插槽就是接口，内存条坏了，可以重新买一个换下来，这叫做高扩展力（低耦合度）。以后项目的开发，一般都是将项目分离成一个模块一个模块的，模块于模块之间采用接口衔接，降低耦合度。接口在开发中的作用，类似于多态在开发中的作用。

2024-05-14 16:58:45 1009

原创 Java学习----（六）抽象类，接口以及抽象类和接口的区别_抽象类和接口代码举例的区别(1)

接口可以解耦合，解开的是谁和谁的耦合。任何一个接口都有调用者和实现者，接口可以将调用者和实现者解耦合，调用者面向接口调用，实现者面向接口编写实现。主板和内存条之间有插槽，这个插槽就是接口，内存条坏了，可以重新买一个换下来，这叫做高扩展力（低耦合度）。以后项目的开发，一般都是将项目分离成一个模块一个模块的，模块于模块之间采用接口衔接，降低耦合度。接口在开发中的作用，类似于多态在开发中的作用。

2024-05-14 16:58:09 830

原创 Java大厂面试题_where条件后带有个 i + 5 &lt； 100 会使到这个索引

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业

2024-05-14 16:57:33 793

原创 Java大厂面试题_where条件后带有个 i + 5 &lt； 100 会使到这个索引(2)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业

2024-05-14 16:56:57 639

原创 2024年最全高精度算法详解(1)，大数据开发程序员必会

再次把它抽象一下，形成一下形式由此我们可以列出以下式子首先判断A 与 B的关系，如果A 大于B，则正常加减，否则就计算其差的负数。然后分别判断每一位的大小，并且计算是否需要进位。（减去下一位的借位，没借位则t是0，有借位则t是1）如果是大于0的话，就直接减，如果是小于0的话，就借一位再减。

2024-05-14 08:20:04 731

原创 2024年最全高效掌握JDBC技术（一）(1)，2024年最新大数据开发未来路在何方

JDBC：Java数据库连接技术通过Java后台代码连接数据库对数据库内容进行增删改查。

2024-05-14 08:19:28 748

原创 2024年最全高并发架构（消息队列），真的太香了

台新增一个策略，这个策略是镜像集群模式的策略，指定的时候是可以要求数据同步到所有节点的，也可以要求同步到指定数量的节点，再次创建 queue 的时候，应用这个策略，就会自动将数据同步到其他的节点上去了。

2024-05-14 08:18:52 397

原创 2024年最全高冷学霸给我送了一周早餐竟是为了(2)，2024大数据开发最新大厂面试真题

利用 tar 命令，可以把一大堆的文件和目录全部打包成一个文件，这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。功能：用于删除文件或目录，常用选项-r -f，-r 表示删除目录，也可以用于删除文件，-f 表示强制删除，不需要确认。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。-C 切换工作目录，先进入指定目录再执行压缩/解压缩操作，可用于仅压缩特定目录里的内容或解压缩到特定目录。当不指定文件或目录时，显示当前工作目录中的文件或子目录信息。

2024-05-14 08:18:15 244

原创 2024年大数据最新[新星计划]通过扩展 Spark SQL ，打造自己的大数据分析引擎(1)，2024年最新2024大数据开发面试心得

SparkStrategies包含了一系列特定的Strategies，这些Strategies是继承自QueryPlanner中定义的Strategy，它定义接受一个Logical Plan，生成一系列的Physical Plan。接下来，我们来扩展优化器，砖厂提供了很多默认的RBO，这里可以方便的构建我们自己的优化规则，本例中我们构建一套比较奇怪的规则，而且是完全不等价的，这里只是为了说明。通过Strategies把逻辑计划转换成可以具体执行的物理计划，代码如下。左边，则直接将字段变成右表达式，即。

2024-05-13 23:31:53 837

原创 2024年大数据最新[大数据测试]ETL测试或数据仓库测试入门_etl上线压力测试(1)，最新大厂大数据开发社招面试经验汇总

ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。ETL是Extract-Transform-Load的缩写。

2024-05-13 23:31:17 766

原创 2024年大数据最新Zookeeper快速入门（Zookeeper概述、安装、集群安装、选举机制，2024年最新超通俗解析

2、配置修改（1）将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；（2）打开 zoo.cfg 文件，修改 dataDir 路径修改以下内容（3）在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹3、操作Zookeeper（1）启动Zookeeper（2）查看进程是否启动jps（3）查看状态（4）启动客户端（5）退出客户端quit（6）停止 Zookeeper。

2024-05-13 23:30:41 921

原创 2024年大数据最新WSUS 服务_wsus分支缓存(1)，2024年最新腾讯T3团队整理

提供windows 部分关键更新得分发可以通过次服务第一时间从微软官方获得最新更新补丁。

2024-05-13 23:30:03 587

原创看了Python在金融行业中的应用，大数据分析实在太重要了_pythpn分析大数据在金融行业的应用(2)

（3）计算到期时期权的所有内在价值 hT(i)=max(ST(i) K，0)。（4）通过公式 1-2 中给出的蒙特卡罗估算函数估计期权现值。公式 1-2 欧式期权的蒙特卡洛估算函数。现在，我们需要将这个问题和算法翻译为Python代码。下面的代码将实现一些必要的步骤。NumPy在这里作为主程序包使用。定义模型并模拟参数值。随机数生成器种子值固定。提取标准正态分布随机数。模拟期末价值。计算期权到期收益。计算蒙特卡洛估算函数。打印输出估算结果。以下 3 个方面值得注意。

2024-05-12 20:35:04 731

原创看了Python在金融行业中的应用，大数据分析实在太重要了_pythpn分析大数据在金融行业的应用(1)

在 BSM 模型中，到期指数水平是一个随机变量，由公式 1-1 给出，其中 z 是一个标准正态分布随机变量。公式Black-Scholes-Merton（1973）到期指数水平下面是蒙特卡洛估值过程的算法描述。（1）从标准正态分布中取得 I 个（伪）随机数 z(i)，i∈{1，2，…，I}。（2）为给定的 z(i)和公式 1-1 计算所有到期指数水平 ST(i)。（3）计算到期时期权的所有内在价值 hT(i)=max(ST(i) K，0)。

2024-05-12 20:34:28 830

原创看2024年卡塔尔世界杯有感_卡塔尔世界杯决赛读后感技术总结跑动(3)

现在大学宿舍里头，我的两个室友一个喜欢梅西，一个喜欢C罗，在它们的引导之下我慢慢对足球也有了一些了解，起码是对一些人有了了解，比如阿扎尔，迪玛利亚，库尔图瓦，拉莫斯等。喜欢C罗的那个室友就是我现在的班长，他的球技高超，曾经带领我们学院得过金杯，在体育课中，我们都是选修的足球，在操场上我们几个人石头剪刀布，决定谁去守门，剩下的几个人轮流进行点球射门，每轮谁先踢进五个球，谁就胜出，做这样的形式举行三轮，踢得最差的人给踢的最好的人买水，班长总是那么轻松获胜。自己第一次踢球是什么时候已经记不清了，大概是小学时候。

2024-05-12 20:33:52 521 1

空空如也

空空如也