- 博客(63)
- 收藏
- 关注
RSS订阅原创 最新分布式版本控制系统-GitLab搭建_gitlab 分布式(2)，最新高频大数据开发面试题目分享
等待下载安装启动，根据网络情况、机器配置等待时间不一，耐性等待启动完成。会提示给新账户创建密码设置一个记得住的密码即可，密码最短为8位。配置完成后登录。用户名为root，密码为刚刚设置的密码。
2024-05-16 08:16:54
582
原创 最新凯哥带你从零学大数据系列之Java篇---第十一章 枚举(1)，2024年最新非常适合收藏的大数据开发进阶重难点笔记
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！11.3.2. 枚举中的属性定义
2024-05-16 08:16:21
271
原创 最新冗余双写方案下数据一致性问题解决及延申问题处理方案(4)，成功入职头条月薪35K
/key1是短链码，ARGV[1]是accountNo,ARGV[2]是过期时间。(img-8FUKCEDU-1715818527210)](img-DeqHayEj-1715818527211)](img-gqLHj1um-1715818527211)]* 如果还是用雪花算法，则容易C端和B端不一致，所以才用编号递增+1的方式。使用原子命令：设置和配置过期时间 setnx / setex。//睡眠100毫秒，然后自旋调用本方法。* 如果短链码重复，则调用这个方法。//做对应的业务逻辑。
2024-05-16 08:15:48
997
原创 最新关于Zookeeper分布式锁(3)，2024年最新被面试官问的大数据开发问题难倒了
根据应用场景选择● 基于ZooKeeper的分布式锁，适用于高可靠（高可用）而并发量不是太大的场景。如果实际业务场景，更需要的是保证数据一致性，适用于CP型的zookeeper分布式锁。● 基于Redis的分布式锁，适用于并发量很大、性能要求很高的。如果实际业务场景，更需要的是保证数据高可用性。适用于AP类型的redis分布式锁。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。
2024-05-16 08:15:15
447
原创 我说话你不信，那就让你girl friend说，看你信不信~WEB安全基础入门—服务器端请求伪造
攻击者引诱后端服务器向其他后端发送伪造的请求称为SSRF。往往是向内网核心区建立请求连接，或使服务器主动连接外部系统，泄露敏感信息。CSRF：是由客户端发起的跨站伪造请求，引诱其他用户执行恶意操作。SSRF：是由后端服务向内网其他服务器发起伪造请求，引发内网间的未授权访问、敏感信息泄露等。
2024-05-15 23:29:28
985
原创 我说话你不信，那就让你girl friend说，看你信不信~WEB安全基础入门—服务器端请求伪造(3)
后端服务器查询结果后，将信息状态和数量返回给用户。的页面，并将内容返还给用户。
2024-05-15 23:28:55
510
原创 我说话你不信，那就让你girl friend说，看你信不信~WEB安全基础入门—服务器端请求伪造(2)
攻击者引诱后端服务器向其他后端发送伪造的请求称为SSRF。往往是向内网核心区建立请求连接，或使服务器主动连接外部系统，泄露敏感信息。CSRF：是由客户端发起的跨站伪造请求，引诱其他用户执行恶意操作。SSRF：是由后端服务向内网其他服务器发起伪造请求，引发内网间的未授权访问、敏感信息泄露等。
2024-05-15 23:28:22
638
原创 我说话你不信，那就让你girl friend说，看你信不信~WEB安全基础入门—服务器端请求伪造(1)
攻击者引诱后端服务器向其他后端发送伪造的请求称为SSRF。往往是向内网核心区建立请求连接，或使服务器主动连接外部系统，泄露敏感信息。CSRF：是由客户端发起的跨站伪造请求，引诱其他用户执行恶意操作。SSRF：是由后端服务向内网其他服务器发起伪造请求，引发内网间的未授权访问、敏感信息泄露等。
2024-05-15 23:27:48
719
原创 【神经网络】一文带你轻松解析神经网络（附实例恶搞女友）_神经网络分析(1)
先看一下神经网络得发展历程我们先来看一下一个典型的神经网络的模型。左边的这是一个典型的神经网络结构，其中包括输入层，输入层也就是我们将数据获取之后进行预处理操作进行输入，然后输入层传入到中间隐层，这个部分我们通常称之为黑盒子。他们之间每一个神经元都对下一层其他的神经元做了一个连接。最后经过处理传入到输出层。右边就是深度学习神经网络。在我们设计一个神经网络的时候，通常输入的节点和输出的节点时已经固定下来的。
2024-05-15 04:15:45
890
原创 【知识整理】Git Commit Message 规范_commit message rule violation
提供更多的信息，指明本次提交的目的，便于追踪问题，方便排查与决策。通过过滤关键字，可以进行问题快速定位。提高工作效率通过工具方便快速生成必要的文档。
2024-05-15 04:15:08
815
原创 【知识整理】Git Commit Message 规范_commit message rule violation(1)
Commit Message 提示说明示例。
2024-05-15 04:14:33
849
原创 【理论+实践】史上最全-论文中常用的图像分割评价指标-附完整代码_分割指标hd95 aorta
∣A⋂B∣∣A⋃B∣TPTPFPFN还是上面那个3 * 3 的例子，我们来计算一下它的IoUIoU交集3并集5TP3TPFPFN560IoU=\frac{交集=3}{并集=5} = \frac{TP=3}{TP+FP+FN=5} = 60%IoU=并集=5交集=3=TP+FP+FN=5TP=3=60%
2024-05-15 04:13:56
1256
原创 Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统_基于网络爬虫的求职大数据获取及分析系统
self.desc_url_queue.join() # 主线程阻塞,等待队列清空。
2024-05-14 18:54:29
262
原创 Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统_基于网络爬虫的求职大数据获取及分析系统(4)
本系统整体难度较低，主要包括三个步骤：收集招聘岗位数据，整理数据分析统计维度，结合echarts图表实现动态展示及推荐等。本次毕设系统在Python爬虫模块设计中，主要采用51Job作为数据收集来源，利用Python Request模块实现对站点岗位数据的收集与去重，动态过滤种子URL地址，写入Mysql数据库，完成工作岗位数据的采集与分析。这里获取](https://bbs.csdn.net/topics/618545628)**
2024-05-14 18:53:54
363
原创 Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统_基于网络爬虫的求职大数据获取及分析系统(3)
本次毕设系统在Python爬虫模块设计中，主要采用51Job作为数据收集来源，利用Python Request模块实现对站点岗位数据的收集与去重，动态过滤种子URL地址，写入Mysql数据库，完成工作岗位数据的采集与分析。
2024-05-14 18:53:18
270
原创 Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统_基于网络爬虫的求职大数据获取及分析系统(2)
本次毕设系统在Python爬虫模块设计中，主要采用51Job作为数据收集来源，利用Python Request模块实现对站点岗位数据的收集与去重，动态过滤种子URL地址，写入Mysql数据库，完成工作岗位数据的采集与分析。
2024-05-14 18:52:37
330
原创 2024年最新『RabbitMQ』入门指南（安装，配置(1)，2024年最新跳槽薪资翻倍
注：vhost 可以理解为虚拟 broker，即 mini-RabbitMQ server，其内部均含有独立的 queue、bind、exchange 等，最重要的是拥有独立的权限系统，可以做到 vhost 范围内的用户控制。我们安装中可能出现各种问题，一般情况下是 RabbitMQ 和 Erlang 版本不对应，需要完全卸载 RabbitMQ 和 Erlang，可以按照如下步骤卸载。注：RabbitMQ 共有四种交换机，分别为：直连交换机，扇形交换机，主题交换机，首部交换机。
2024-05-14 10:15:52
286
原创 2024年最新「SQL面试题库」 No_1 员工薪水中位数_sql求员工薪水中位数，2024年最新大厂大数据开发核心面试题出炉
请编写SQL查询来查找每个公司的薪水中位数。挑战点：你是否可以在不使用任何内置的SQL函数的情况下解决此问题。表有三列：员工Id，公司名和薪水。
2024-05-14 10:15:16
280
原创 2024年最新「SQL面试题库」 No_1 员工薪水中位数_sql求员工薪水中位数(3)，个人开发者做一款App需要知道的事情
请编写SQL查询来查找每个公司的薪水中位数。挑战点：你是否可以在不使用任何内置的SQL函数的情况下解决此问题。表有三列：员工Id，公司名和薪水。
2024-05-14 10:14:40
346
原创 2024年大数据最新宿友用一把王者的时间入门了【二叉树】，你又懂多少呢？乌拉(3)，2024年最新手把手教你写大数据开发项目文档
那我们还为什么学习它呢❓打基础OJ算法题。
2024-05-14 01:37:02
335
原创 2024年大数据最新容器云系列之Kubernetes基础资源对象介绍_容器云资源类型(3)，2024年最新王者笔记
app: nginxtemplate:metadata:labels:app: nginxspec:ports:resources:limits:requests:status: {}Pod是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。
2024-05-14 01:36:26
538
原创 2024年大数据最新容器云系列之Kubernetes基础资源对象介绍_容器云资源类型(1)，2024年最新程序员如何自我学习和成长
Label是Kubernetes中另一个重要概念，一个Label是一个key=value的键值对，其中key与value由用户自己指定。实际过程中可以通过label实现资源的多维度分组，以便灵活，方便的进行资源分配，调度，配置，部署等管理工作；Kubernetes通过label selector查询和筛选拥有某些Label的资源对象，这种方式类似于SQL的where查询条件，比如name=redis-slave匹配所有name=redis-slave的资源对象、env!
2024-05-14 01:35:50
343
原创 高级DBA教你clickhouse数据库查询正在执行的SQL语句的汇总方法全网最详细_clickhouse 代码中实现 查询进度
query_typedatabasetable这些字段的具体含义和名称可能会有所变化，取决于你的 ClickHouse 安装和配置。你可以查阅 ClickHouse 的官方文档或系统表的定义来获取更准确的信息。通过分析表中的这些字段，你可以了解查询的执行情况、性能指标以及用户活动等信息，有助于监控和优化数据库的使用。
2024-05-12 22:30:52
395
原创 高级DBA教你clickhouse数据库查询正在执行的SQL语句的汇总方法全网最详细_clickhouse 代码中实现 查询进度(1)
表中的字段含义可能会因 ClickHouse 的版本和配置而有所不同。queryevent_timeuserquery_idelapsedread_rowsquery_typedatabasetable这些字段的具体含义和名称可能会有所变化，取决于你的 ClickHouse 安装和配置。你可以查阅 ClickHouse 的官方文档或系统表的定义来获取更准确的信息。通过分析表中的这些字段，你可以了解查询的执行情况、性能指标以及用户活动等信息，有助于监控和优化数据库的使用。
2024-05-12 22:30:16
502
原创 高效掌握JDBC技术（二） 掌握ORM思想 定义连接数据库的工具类_jdbc数据库连接工具
从上面书写Dao接口实现类的时候我们发现，每当我要对数据库进行操作就要建立一个连接，书写六大步骤，是不是过于繁琐呢？因此我们直接实现一个。来减少重复代码的书写。
2024-05-12 22:29:41
280
原创 高效掌握JDBC技术（二） 掌握ORM思想 定义连接数据库的工具类_jdbc数据库连接工具(2)
System.out.println(“关闭conn失败”);* 分别在不同的方法中使用JDBC6大步实现不同的功能方法。System.out.println(“获取连接失败”);System.out.println(“关闭rs失败”);System.out.println(“关闭ps失败”);System.out.println(“添加成功”);System.out.println(“添加失败”);System.out.println(“未知异常”);* @return 对应的用户信息对象。
2024-05-12 22:29:05
326
原创 插入排序图解_插入排序是一种简单直观的排序算法。它的工作原理是通过构建有序序列,对于未
插入排序是一种最简单直观的排序算法，它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。当已经排序的集合的最后元素 < 当前无序区间的第一个元素，内层循环可以直接退出，大大降低了时间。5.一直碰到arr[j] > arr[j - 1] 就停止，即插入到了合适的位置。选择无序区间的第一个元素插入到”有序区间“的位置时，优化他的插入位置的查找次数。当arr[j] >= arr[j - 1] 不会交换其顺序，循环退出了。2.有序区间变成 [1,2,3,4,5,6]
2024-05-12 05:20:29
353
原创 探寻宝藏 【算法设计与分析课设】 c语言代码 + 思路详解 + 三维优化_传说hmh大沙漠中有一个m n迷宫,里面藏有许多宝物。某天,dr
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取O(n∗n∗m∗m)O(n*n*m*m)O(n∗n∗m∗m) 。完整分析图示：4、思路2第一种思路的时间复杂度为O(n∗n∗m∗m)O(n*n*m*m)O(n∗n∗m∗m) ，当和很大时，这样的效率显然我们是不能
2024-05-12 05:19:53
518
原创 探寻宝藏 【算法设计与分析课设】 c语言代码 + 思路详解 + 三维优化_传说hmh大沙漠中有一个m n迷宫,里面藏有许多宝物。某天,dr(1)
4重循环，因此时间复杂度为On∗n∗m∗mO(n*n*m*m)O(n∗n∗m∗m)。定义状态为4维，因此空间复杂度为On∗n∗m∗mO(n*n*m*m)O(n∗n∗m∗m)。
2024-05-12 05:19:17
564
原创 大数据最全学习编程的第二十天(1)，学习大数据开发开发只要这些东西
④安装JRE,同上面步骤一样,选择安装路径, 一般选择默认路径” C:\Program Files\Java\jre7”,可以通过”更改”来选择别的路径,选择好路径之后,点击”下一步.”③选择安装路径,一般选择默认路径” C:\Program Files\Java\jdk1.7.0_80”,可以通过”更改”来选择别的路径,选择好路径之后,点击”下一步.”⑤新建“JAVA_HOME”变量，变量值为你的JDK软件安装路径“C:\Program Files\Java\jdk1.7.0_80”
2024-05-11 20:42:17
238
原创 大数据最全学习笔记——PSI(1)，项目实践
隐私集合求交（PSI）是一种允许多方计算出他们的数据集交集而不泄露各自数据集其他信息的技术，它在保护用户隐私的同时，支持了数据的合法共享和分析，适用于多种场景，如跨机构数据分析、防欺诈检测、安全信息共享等。
2024-05-11 20:41:41
379
原创 大数据最全学习SSM中的M+(MyBatis Plus 3(5)，源码+原理+手写框架
解释一下：这个自动填充就是相当于为程序添加一个拦截器，当用户改变自己的信息的时候，拦截一下自动把更改的时间进行装填到数据库中。在以后工作中会经常用到步骤一：修改表添加字段：为表添加两个字段步骤二：修改JavaBean/*** Created by 爱吃豆的土豆.*/@Data步骤三：编写处理类/*** @author 爱吃豆的土豆*/@Component/*** 插入填充*/@Override/*** 更新填充*/@Override。
2024-05-11 20:41:06
935
原创 大数据最全学习SSM中的M+(MyBatis Plus 3(2)，大佬带你看源码
首先先翻译一下wrapper (包装器)，不知道大家有没有听过包装类，主要应用在一种模式上面叫装饰 设计模式 里面出现的其实就是包装类。大家应该见过请求或者响应包装类：分别是像现在在Mybatis-plus 中也用到了wrapper ,它的意思就是把条件查询中的条件给它封装一下//结合idea向大家介绍一下idea中 Shift + Ctrl + a 弹出来搜索框：点进去wrapper中按CTRL + H 查看继承树Wrapper ： 条件构造抽象类，最顶端父类。
2024-05-11 20:40:28
1026
原创 【Hive】（二十三）简单几招教你如何解决 Hive 中小文件过多的问题_hive小文件过多
的时候产生大量的小文件的问题, 可以使用DISTRIBUTE BY rand() 将数据随机分配给Reduce，这样可以使得每个Reduce处理的数据大体一致。
2024-05-10 22:08:25
858
原创 【Hive】（二十三）简单几招教你如何解决 Hive 中小文件过多的问题_hive小文件过多(1)
一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并)#执行Map前进行小文件合并#===设置map输出和reduce输出进行合并的相关参数：#设置map端输出进行合并，默认为true#设置reduce端输出进行合并，默认为false#设置合并文件的大小#当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。
2024-05-10 22:07:49
805
原创 【Hive】笔试题 05 （求月销售额和总销售额）_hive分区查询,计算1月的销售总额。
编写Hive的HQL语句求出每个店铺的当月销售额和累计到当月的总销售额。笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
2024-05-10 22:07:13
411
原创 【Hive】笔试题 05 （求月销售额和总销售额）_hive分区查询,计算1月的销售总额。(3)
编写Hive的HQL语句求出每个店铺的当月销售额和累计到当月的总销售额。
2024-05-10 22:06:37
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人