程序员
文章平均质量分 88
普通网友
这个作者很懒,什么都没留下…
展开
-
【Spark Streaming】(一)架构及工作原理_spark(streaming)架构及原理
接收器,接收不同的数据源,进行针对性的获取,Spark Streaming 也提供了不同的接收器分布在不同的节点上,每个接收器都是一个特定的进程,每个节点接收一部分作为输入。因为Streaming 是按照时间不断的分片,所以需要等待,一旦定时器到时间了,缓冲区就会把数据转换成数据块block(缓冲区的作用:按照用户定义的时间间隔切割),然后把数据块放到一个队列里面去,然后Block manager从队列中把数据块拿出来,把数据块转换成一个spark能处理的数据块。(不是节点级别的,是任务级别的)原创 2024-05-15 00:42:44 · 1111 阅读 · 0 评论 -
【Spark Streaming】(一)架构及工作原理_spark(streaming)架构及原理(5)
Spark Streaming 提供了表示连续数据流的、高度抽象的被称为离散流的 DStream。假如外部数据不断涌入,按照一分钟切片,每个一分钟内部的数据是连续的(连续数据流),而一分钟与一分钟的切片却是相互独立的(离散流)。原创 2024-05-15 00:42:07 · 1106 阅读 · 0 评论 -
【Spark Streaming】(一)架构及工作原理_spark(streaming)架构及原理(4)
处理的是批量的数据(离线数据),实际上处理并不是像Strom一样来一条处理一条数据,而是对接的外部数据流之后按照时间切分,一个个切分后的文件,和 Spark 处理逻辑是相同的。将接收到的实时流数据,按照一定时间间隔,对数据进行拆分,交给 Spark Engine 引擎,最终得到一批批的结果。:Spark Streaming 提供了表示连续数据流的、高度抽象的被称为离散流的 DStream。原创 2024-05-15 00:41:31 · 717 阅读 · 0 评论 -
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client(2)
安装es,安装header 安装kibana,安装多种分词器ik…原创 2024-05-14 15:20:39 · 491 阅读 · 0 评论 -
Elasticsearch入门-环境安装ES和Kibana以及ES-Head可视化插件和浏览器插件es-client(1)
分析问题:es8是内置jdk的,那么为啥它启动去找的是我们系统环境变量中的jdk,而不是它自己的呢?找到bin目录中的elasticsearch-env配置文件,发现是下面红色圈的配置影响了es的正常启动我们只需要将我们的JAVA_HOME环境变量的jdk改为ES内置的JDK即可再次启动,服务正常启动了!修改yml配置,连接测试。原创 2024-05-14 15:20:03 · 412 阅读 · 0 评论 -
Elasticsearch(十)搜索---搜索匹配功能①--查询所有文档和term级别查询_elasticsearch关系型数据库 搜索
之前的学习我们已经了解了搜索的辅助功能,从这一章开始就是ES真正核心的功能,搜索。针对不同的数据类型,ES提供了很多搜索匹配功能:既有进行完全匹配的term搜索,也有按照范围匹配的range搜索;既有进行分词匹配的match搜索,也有按照前缀匹配的suggesr搜索。我们同样也会通过在kibana上进行DSL的搜索示例,也会给出java客户端的使用代码。本节我们将介绍两个场景:查询所有文档和term级别的查询。原创 2024-05-14 15:19:27 · 569 阅读 · 0 评论 -
Elasticsearch(十)搜索---搜索匹配功能①--查询所有文档和term级别查询_elasticsearch关系型数据库 搜索(2)
/这里我直接New MatchAllQueryBuilder,不过更推荐QueryBuilders.matchAllQuery().boost(2.0f)“_source”: [“title”,“city”], //希望返回的结果字段。“from”: 0, //分页。“city”: { //搜索字段是city,字段类型为keyword。{VALUE}” //搜索值。“value”: “北京”原创 2024-05-14 15:18:51 · 1027 阅读 · 0 评论 -
2024年最全回归分析预测世界大学综合得分_世界大学排名预测可以用什么模型,2024年最新2024BAT大厂大数据开发社招面试题
得到测试集的 RMSE 为 3.999,在百分制的预测目标下算一个尚可的结果。从评价指标上看貌似我们能根据各方面排名较好的预估综合得分,接下来我们观察一下学习到的参数,即各指标排名对综合得分的影响权重。这里会发现综合得分的预测基本被「师资质量」这一自变量主导了,「就业」和「教育质量」这两个因素也有一定影响,其他指标起的作用就很小了。的方法观察变量之间的关联关系,可以从图中看到,少部分变量之间有线性关系;为了观察「师资质量」这一主导因素与综合得分的关系,我们可以通过 seaborn 中的。原创 2024-05-14 06:42:35 · 398 阅读 · 0 评论 -
2024年最全卷王指南,大学计算机专业,面临分专业,计科,软工,开发者必备的顶级大数据开发开发工具
但考虑到同学们的诉求,我上周末花了两天的时间,整理了一份 CS 自学指南,里面囊括了所有我认为值得推荐给大家的学习资料(有书、有视频、有公开课、有在线文档),这些学习资料不用怀疑,我都看过,虽然有些没有看完,已经在 GitHub 上开源了。当你用 Java 实现某个业务需求时,发现人家的算法实现比你快得多,你自然会好奇,为什么会这样?当然了,你也可以选择 C 语言,这也是一个无法反驳的选择,C 语言是其他很多编程语言的基石,学了这个,再学其他任何一门编程语言都是很好的基础,只不过,指针这块确实令人头痛!原创 2024-05-14 06:41:59 · 666 阅读 · 0 评论 -
2024年最全医药电商大数据实践(3),面试字节跳动被问大数据开发屏幕适配方案
建立医药电商大数据分析平台采集医药电商的数据、分析电商平台数据、可视化电商平台数据。可以根据医药产品销售和库存管理来提高销售率等等。1.流量分析:根据每日、每月、年度分析用户的行为数据,如浏览量、访客数、访问次数、平均访问深度等等2.经营状态分析。根据月度或年度对销售状态进行统计,统计指标包括下单金额,下单客户,下单量等等3.大数据可视化系统系统以离线批处理方式,推送采集结果数据给大数据分析平台。原创 2024-05-14 06:41:23 · 731 阅读 · 0 评论 -
2024年最全医学图像处理(一)使用U-Net进行MRI的肝脏分割_chaos数据集,2024春招BAT面试真题详解
if。原创 2024-05-14 06:40:47 · 819 阅读 · 0 评论 -
2024年大数据最新C C++数据结构(三) (2),2024年最新40道大数据开发面试
在前两篇文章中,我们学习了顺序表(数组)和单向不带头非循环链表。链接如下:C/C++数据结构(一) —— 数组C/C++数据结构(二) —— 单链表那么今天,将要学习链表的第三种双向带头循环链表。原创 2024-05-13 21:54:21 · 976 阅读 · 0 评论 -
2024年大数据最新C C++学习路线总结与分享(1),算法真题解析:美团+Tencent+字节跳动+阿里+360+拼多多
在CSDN上认识了很多学习C/C++在校朋友,他们在和我交流时时常会问有没有好的C/C++学习路线推荐,目前的博客内容主要面向有工作经验的人,针对初学者的文章写的比较少。因为大家问的比较多,最近正好有时间,就详细地思考了一下这个学习路线的问题。作为IT行业的从业者,结合多年的实战经验,给大家大概地总结一下C/C++学习路线方面的内容,以供广大C/C++初学者借鉴和参考!C/C++的知识点与学习路线图总体如下所示:在这里,给大家(该专栏订阅量接近350个,有很强的实战参考价值,广受好评!原创 2024-05-13 21:53:45 · 996 阅读 · 0 评论 -
2024年大数据最新C C++中的内存管理_c语言函数临时变量分配在哪(1),Jetpack-MVVM高频提问和解答
对于自定义类型:new创建对象时不仅会开辟空间,还会调用它的构造函数.而malloc不会调用构造函数,这是重要的区别之一.class Testpublic:Test(): _data(0)~Test()private:int _data;int main()//C语言创建//C++创建对象//1.堆上申请空间2.调用其构造函数return 0;可以看到malloc的对象并没有初始化,即并没有调用构造函数.而new的对象调用了构造函数被成功初始化为0.同时。原创 2024-05-13 21:53:09 · 959 阅读 · 0 评论 -
2024年大数据最新BH1750 传感器实战教学 —— 硬件设计篇_bh1750引脚图(2),2024年最新腾讯大数据开发面试
如果是用 STM32 做的一个普通产品,确实没有必要再过多说明,但是我们本次的应用稍微特殊一点,需要在一个 51 内核的低功耗无线芯片上使用这个传感器。硬件上除了低功耗的设计不能少,I2C通讯还需要做电平转换,软件上产品的驱动也需要修改移植。这种针对有现成驱动和参考资料的传感器实际应用,也有很多初学者不太明白,本文的目的就在于给新人做个实际应用示例,便于大家以后在对面不同应用的时候知道怎么处理。原创 2024-05-13 21:52:31 · 884 阅读 · 0 评论 -
机器学习算法系列(九)-多分类对数几率回归算法(Multinomial Logistic Regression)(1)
1KeWkTXi1jyi其中指数部分为指示函数(indicator function),代表当第 i 个 y 的值等于分类j时函数返回 1,不等于时返回 0,如下所示:1Ax1x∈A0x∉A然后对似然函数取对数后加个负号,就是多分类对数几率回归的代价函数了,我们的目标依然是最小化该代价函数:CostW−∑i1N∑j1K1jyilneWjTXi∑k1KeWkTXi。原创 2024-05-12 18:57:27 · 697 阅读 · 0 评论 -
机器人恶意刷接口?加个验证码几分钟搞定!_登录系统 防止机器人登录
res.status(200).send(req.body.user + " 登录验证成功!console.log(‘[雷学委] captchaCode:’, captchaCode)res.status(400).send(“BadRequest, 验证码不对!console.log(‘[雷学委] body:’, req.body);console.log(‘[雷学委] try login’);console.log(‘[雷学委] 验证码校验失败’);secret: ‘雷学委mySecret2021’,原创 2024-05-12 18:56:50 · 688 阅读 · 0 评论 -
机器人恶意刷接口?加个验证码几分钟搞定!_登录系统 防止机器人登录(1)
习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**对应的我们在页面可以编写类似下面的代码(非完整,仅重点展示核心实现)校验成功,则认为是小白的人工操作,继续放行后续操作。对了,学委还有这个可以关注长期阅读 =>编程很有趣,关键是把技术搞透彻讲明白。持续学习持续开发,我是雷学委!原创 2024-05-12 18:56:14 · 237 阅读 · 0 评论 -
有没有完全自主的国产化数据库技术 _国产数据库都是基于什么技术(5)
不过,这事儿说起来轻松,做起来却不容易。从2007年开始,我们用了十多年时间,历经四次大的重构才把模型和结构稳定下来,形成了一套理论模型——,基于这套模型开发出了SPL(Structured Process Language),专门用于结构化数据计算的程序设计语言,配合有存储机制后,也可以理解成为数据仓库产品。由于SPL采用了新的理论模型,在市面上根本没有其他产品可以借鉴,更不可能有现成的开源代码可以“借用”,只能完全自己一行一行开发。所以,SPL的核心运算模型代码从头到脚都是完全自主原创的。原创 2024-05-12 18:55:37 · 973 阅读 · 0 评论 -
最全猿创征文|【(3),大数据开发面试必问的HashMap
path当前FileStream对象将封装的文件的相对路径或绝对路径。mode用于确定文件的打开或创建方式的枚举值之一。access枚举值的按位组合,这些枚举值确定FileStream对象访问文件的方式。该常数还可以确定由FileStream对象的和属性返回的值。如果path指定磁盘文件,则为true。share枚举值的按位组合,这些枚举值确定进程共享文件的方式。bufferSize一个大于零的正值,表示缓冲区大小。默认缓冲区大小为 4096。options枚举值的按位组合,它用于指定其他文件选项。原创 2024-05-12 10:25:48 · 321 阅读 · 0 评论 -
最全猿创征文|(4),2024年最新2024最新版
互联网已经吸引了数百万用户,就像一个多样化的数字服务、移动和可扩展性的星系。这个最吸引人的世界都掌握在网络开发人员手中。他们手中有创造并构建将数字世界和现实世界联系起来的魔力。为了向用户提供高质量的产品和内容,开发人员有必要采用合适的工具。艺术家们寻找灵感、工具和精髓想象力来创作他们的杰作的方式,对于那些寻求最合适的工具来执行工作的网络开发人员来说也是如此。然而,选择一个合适的工具的过程是相当具有挑战性的,因为软件行业正在随着各种软件、应用程序和框架而浮动。原创 2024-05-12 10:25:12 · 276 阅读 · 0 评论 -
最全猿创征文 国产数据库TiDB架构特性_tidb 信创数据库,2024年最新四年大数据开发面试遇到的问题整理
义、实战项目、大纲路线、讲解视频,并且后续会持续更新**原创 2024-05-12 10:24:36 · 361 阅读 · 0 评论 -
最全猿创征文 国产数据库TiDB架构特性_tidb 信创数据库(2),2024年最新搞懂这些直接来阿里入职
义、实战项目、大纲路线、讲解视频,并且后续会持续更新**原创 2024-05-12 10:23:59 · 517 阅读 · 0 评论 -
大数据最新带你从零学大数据系列之Java篇---第十六章 集合基础(1),怒斩腾讯和阿里的Offer
在使用增强for循环进行元素的遍历过程中, 不要修改集合中的内容!否则, 会出现 ConcurrentModificationException。Collection接口是单列集合的顶级接口。在这种集合中存储的数据, 只占一列。所有的元素, 直接存储于各种数据结构中。由于这个接口是单列集合的顶级接口, 在这里定义的所有的方法, 在所有的实现类中都是可以使用的。迭代器(Iterator),才是真正用来遍历集合的。Collection集合中, 没有下标的概念。原创 2024-05-12 01:48:10 · 261 阅读 · 0 评论 -
大数据最新带你从零学大数据系列之Java篇---第十五章 泛型(3),金九银十
泛型类型的指派, 只能是引用数据类型。泛型不能设置为基本数据类型。如果真的需要使用到基本数据类型, 使用他们对应的包装类。泛型, 是定义在一对尖括号里面的。在尖括号里面定义一个类型。此时, 定义在这一对尖括号中的类型, 就是泛型。**泛型接口的定义:**在接口名字的后面, 添加上一对尖括号。在尖括号里面定义泛型。**泛型接口的使用:**实现类实现接口、 使用接口访问接口中的静态成员、 被继承。在使用到泛型类、接口、方法的时候, 指派每一个泛型具体是什么类型。在类名的后面, 紧跟上一对尖括号。原创 2024-05-12 01:47:34 · 287 阅读 · 0 评论 -
大数据最新带你从零学大数据系列之Java篇---第二十一章 多线程高级,2024年最新开发这么久这些问题都不会
此时其他的线程再执行到synchronized的时候, 会进入到锁池, 直到持有锁的线程使用结束后, 对这个资源进行解锁。此时, 处于锁池中的线程都可以抢这个锁标记, 哪一个线程抢到了, 就进入到就绪态, 没有抢到锁的线程, 依然处于锁池中。多个线程同时访问一个资源的情况下, 一个线程在操作这个资源的时候, 将值取出进行运算, 在还没来得及进行修改这块空间的值之前, 值又被其他的线程取走了。在一个线程操作一个资源的时候, 对这个资源进行“上锁”, 被锁住的资源, 其他的线程无法访问。在程序中, 可以分为。原创 2024-05-12 01:46:58 · 977 阅读 · 0 评论 -
大数据最新岭师大数据技术原理与应用-序章-软工版(3),2024年最新大数据开发基础视频教程
✓:代表经过测试,功能齐全✕:已知功能不全,或者存在CVE,因此我们在较新的次要版本中放弃支持— :不适配根据上表,我们就很清楚我们会用到的版本依赖关系。当然,HBase不止依赖Hadoop,还会有jdk的版本依赖,请看下表:当然,大家所使用的jdk8肯定是没有问题的,所以放心好了,这个当做了解而已。下面附上链接,当然用老师的也可以,作为探索,我就不用老师的版本了,其实都一样的,不用担心兼容问题,有问题私信小生,小生再帮大家解决。原创 2024-05-12 01:46:22 · 750 阅读 · 0 评论 -
大数据最全3,超全大数据开发中高级面试复习大纲
占8比特,最初以秒为单位,最大生存周期为255秒,路由器转发IP数据报的时候,把IP数据报首部中的该字段的值减去IP数据报在本路由器上所耗费的时间,若不为0,就转发,否则就丢弃。需要将原来的IP数据报分片为更小的IP数据报,使用分片来解决问题,使用分片的前提是这个IP数据报本身同意进行分片。以8B为单位,除了最后一个分片以外,其他的每个分片长度一定是8B的整数倍。现在以"跳数"为单位,路由器转发IP数据报的时候,把IP数据报首部中的该字段的值减1,如果不为0,就转发,否则就丢弃。原创 2024-05-11 17:08:18 · 275 阅读 · 0 评论 -
大数据最全32、学习 Java 中的注解(参照官方教程)_@unused 注解,热度飙升
当多个注解使用在同一个声明的时候,每一个注解独占一行。📝 如果注解中只写了一个元素,并且元素的名字是 value,那么元素名可以省略掉(如下所示)的定义,注解类型元素的定义看起有点像方法(定义注解类型元素的时候可以提供可选的默认值)在下面的例子中,注解的名字是:Override。📝 如果注解中没有元素,那么注解的圆括号可以省略掉(如下所示)🌼 上面代码中的 name 和 date 是注解的元素。🌼 元素的定义和方法有点像,一种语法而已,记住就好。自定义注解的信息,您必须在定义该注解的时候标注。原创 2024-05-11 17:07:42 · 403 阅读 · 0 评论 -
大数据最全2024年最新Python大数据之Python基础【六】函数,职场中的中年危机
def run():print(‘我跑的老快了,没人追的上我,钱包在我手里’)print(‘我跑的老快了,没人追的上我,手机在我手里’)print(‘我跑的老快了,没人追的上我,女朋友在我手里’)print(‘我再唱青藏高原’)print(‘我再跳广场舞’)sing()dance()print(‘猫吃鱼’)print(‘狗吃肉’)print(‘人吃藕’)def eat(who, food): # 在定义时传入的参数叫做形参,只能在函数体内部使用。原创 2024-05-11 17:07:06 · 263 阅读 · 0 评论 -
大数据最全2024年最新Python大数据之Python基础【五】(元组),2024年最新大数据开发高级面试题汇总
单元素元组: 变量 = (数据,)多元素元组:变量 = (数据1, 数据2, 数据3…)# 元组:可以储存多个数据,但是元组内的数据不能被修改(元定义后只能被查询)# 元组的定义:变量 = (数据1, 数据2, 数据3......)# 打印后可以展示元组中的全部信息# 查询数据类型# 如果元组中只有一个元素怎么办?在单一元素后添加逗号# 如果小括号包裹单一元素数据不添加逗号,则小括号的意义是提升算术运算符优先级# 在定义元素或者传值时,元组的括号可以省略。原创 2024-05-11 17:06:29 · 431 阅读 · 0 评论 -
【数据结构】我家三岁表弟都明白的栈和队列,你不会不了解吧?(1)
if (q->front == q->rear) //队列中只有一个元素。typedef struct QNode //队列的每个节点(链表)QueueEmpty(q));typedef struct Queue //队列。// 获取栈中有效元素的个数。// 获取栈中有效元素的个数。else //队列有多个元素。// 检测栈是否为空。// 检测栈是否为空。原创 2024-05-11 03:13:46 · 545 阅读 · 0 评论 -
【数据结构】彻底掌握时间复杂度和空间复杂度_数据转换时间复杂度
最坏情况是查找到最后一个单独的数时才找到或者查找结束也没有找到要找的数,假设一共有N个数,每次查找,查找区间缩小一半,即查找多少次,除2多少次,查找到最后一个值时,查找结束。用大O的渐进表示法需要去掉加法常数,2*N+10是属于N这个量级的,N的系数无论多大都要改为1,因为当N无限大时,系数对结果影响不大,所以时间复杂度为O(N)。一个算法所花费的时间与其中语句的执行次数成正比例,算法中的基本操作的执行次数,为算法的时间复杂度。下图中,绿色表示最后一个值,查找N次后,查找到最后一个值,N/2/2/2/……原创 2024-05-11 03:13:10 · 737 阅读 · 0 评论 -
【数据结构】单链表 &;&; 双链表(链式和数组实现)_取单链表中第二个数据结构
双链表我们只需要写指定插入和指定删除,就可以复用这两个接口实现头插,头删,尾插,尾删了。先保存前一个节点坐标,然后让前一个节点和新节点连接,再把自己的prev指针指向新节点。e[] 数组用来存储链表的值 , ne[] 数组用来存储节点指向节点的下标,数组的下标代表节点。带头是因为更好的确定链表的尾部,带头节点在这里就冲当了尾节点的作用。数组模拟链表我们需要开一个数组来存链表的值,还要开一个数组连存储链表的指向,还需要一个变量来代表链表的编号。指定位置删除,我们只需要存下前一个节点和后一个节点。原创 2024-05-11 03:12:34 · 369 阅读 · 0 评论 -
【数据结构】单链表 &;&; 双链表(链式和数组实现)_取单链表中第二个数据结构(1)
if ((*pplist)->next == NULL) //链表就一个元素,调用头删。if (*pplist == NULL) //链表为空需要更新头节点。if (*pplist == NULL)//如果链表为空调用头插。//指向k节点的下一个节点。void add_to_head(int x) //头插。//指向head指向的节点。//头节点指向新节点。原创 2024-05-11 03:11:58 · 732 阅读 · 0 评论 -
Redis从理论到实战:如何使用redis实现短信登录与注册?_使用redis来做一个短信验证注册账号(3)
(img-t09b6xVr-1715337234777)](img-5BLUgAgV-1715337234777)]* 用hashmap存储userDTO对象。// 基于token获取redis中的用户。// 获取请求头中的token。// 刷新token有效期。// 判断用户是否存在。原创 2024-05-10 18:34:26 · 749 阅读 · 0 评论 -
Redis从理论到实战:如何使用redis实现短信登录与注册?_使用redis来做一个短信验证注册账号(2)
(img-9rcWX4y5-1715337198810)](img-6MIB4IZo-1715337198810)]* 用hashmap存储userDTO对象。// 获取请求头中的token。原创 2024-05-10 18:33:50 · 680 阅读 · 0 评论 -
Redis从理论到实战:如何使用redis实现短信登录与注册?_使用redis来做一个短信验证注册账号(1)
为什么使用Redis实现登录功能,而不使用基于Session实现登录功能?考虑到多台Tomcat并不共享session存储空间(虽然多台Tomcat可以对数据进行拷贝,但是不仅会造成内存空间的浪费,而且还会因为存在数据拷贝时间上的延迟,如果在延迟时间内有使用者来访问,依然会出现数据不一致的情况!所以,我们的解决方案应该满足:数据共享、内存存储、key-value结构。为了方便理解,先来看看不用redis,基于session来实现登录;然后分析存在的问题缺陷,最后用redis解决存在的问题!原创 2024-05-10 18:33:14 · 550 阅读 · 0 评论 -
Redis五大数据类型与使用场景汇总!!(含完整实战案例,建议收藏)_redis的不同数据类型的使用场景和案例
/-1代表倒数第一个元素,-2代表倒数第二个元素。//-1代表倒数第一个元素,-2代表倒数第二个元素。System.out.println(“增加多个键值对:”+jedis.mset(“key01”,“value01”,“key02”,“value02”,“key03”,“value03”));System.out.println(“将key6保存的值加上一个整数,如果key6不存在则添加key6:”+jedis.hincrBy(“hash”, “key6”, 6));原创 2024-05-10 18:32:37 · 910 阅读 · 0 评论 -
2024年最新【项目精选】SSM框架酒店管理系统_酒店管理系统项目框架,驱动核心源码详解和Binder超系统学习资源
搭建开发环境教程:酒店管理系统功能结构:分前台用户和后台管理员:前台用户:登录、注册,查看房型、预定房型。后台管理员:楼层管理:楼层实体:楼层id、楼层名称、楼层备注。功能:楼层的增加、编辑、删除功能。房型管理:实体:房型id、房型名称、房型价格、房型状态、床位数、可住人数,房型备注。功能:房型的增加、编辑、删除功能。房间管理:实体:房间id、房间编号、所属房型、所属楼层,备注。功能:增删改查。原创 2024-05-10 09:39:43 · 543 阅读 · 0 评论