程序员
文章平均质量分 89
普通网友
这个作者很懒,什么都没留下…
展开
-
高并发架构(消息队列),2024年最新吐血整理
Kafka 实际上有个 offset 的概念,就是每个消息写进去,都有一个offset,代表消息的序号,然后 consumer 消费了数据之后,每隔一段时间(定时定期),会把自己消费过的消息的 offset提交一下,表示“我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的 offset来继续消费吧”。生产环境碰到的一个问题,就是说我们的 Kafka 消费者消费到了数据之后是写到一个内存的queue 里先缓冲一下,结果有的时候,你刚把消息写入内存 queue,然后消费者会自动提交offset。原创 2024-04-14 07:01:16 · 563 阅读 · 0 评论 -
高冷学霸给我送了一周早餐竟是为了(3),大数据开发小技巧
利用 tar 命令,可以把一大堆的文件和目录 全部打包成一个文件,这对于备份文件或将几个文件组合成为一个文件以便 于网络传输是非常有用的。常用选项-i -f -b,-i 表示若存在同名文件,则向用户 询问是否覆盖;功能:用于删除文件或目录,常用选项-r -f,-r 表示删除目录,也可以用于 删除文件,-f 表示强制删除,不需要确认。-C 切换工作目录,先进入指定目录再执行压缩/解压缩操作,可用于 仅压缩特定目录里的内容或解压缩到特定目录。当不指定文件或目录时,显示 当前工作目录中的文件或子目录信息。原创 2024-04-14 06:57:33 · 692 阅读 · 0 评论 -
高冷学霸给我送了一周早餐竟是为了(2),2024年最新大数据开发面试中常问的MMAP到底是啥东东
速度快:由于ApacheSpark支持内存计算,并且通过DAG(有向无环图)执行引擎支持无环数据流,所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍,在硬盘中要快10倍易使用:Spark的版本已经更新到了Spark3.1.2(截止日期2021.06.01),支持了包括Java、Scala、Python、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景,Spark仍然持续更新Spark2版本。原创 2024-04-14 06:57:01 · 836 阅读 · 0 评论 -
首发!!lancet饿了么官方文档_饿了么开发文档,2024年最新京东面试笔试题
ProxyiProxyLog.i()所以这个示例Hook方法的作用就是 将代码里出现的所有代码替换为。原创 2024-04-14 06:55:58 · 743 阅读 · 0 评论 -
风控对抗的方式与防护策略_企业爬虫如何对抗风控,HarmonyOS鸿蒙系统工程师面试题
风控的全称应该是风险控制,为了解决和预防将要发生,或者可能发生的一些危险情况,从而减轻损失。经过不断地衍化,App风控的方式也有很多种,比如人工进行风控,肉眼过审。到现在很多大厂可以根据一些特定的数据模型从而实现的AI自动过审。但是不管如何,都需要经过一些信息的输入,才能得到输出结果。而输入的过程就是我们要讲的内容。现在能自定义的很少,基本都是谷歌系列的手机,因为很多大厂他不会开源当前手机的驱动代码,没有驱动代码也就没办法编译成rom。原创 2024-04-14 06:55:27 · 897 阅读 · 0 评论 -
靶机实战系列之Tomato靶机,2024年最新网易严选HarmonyOS鸿蒙开发三面面经
涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。1.6 反弹shell。原创 2024-04-14 06:54:24 · 615 阅读 · 0 评论 -
靶机实战系列之Tomato靶机(1),一次违反常规的鸿蒙大厂面试经历
linux-exploit-suggester可以用来枚举内核漏洞。发现漏洞号为45010搜索此漏洞,gcc编译,传到靶机。远程文件包含功能通过info.php发现已经关闭。发现存在ubuntu系统默认写入身份认证文件路径。滑至文末,获取“searchall”下载链接!尝试登录 ssh操作后会写入身份认证日志文件。同样的在日志文件中确实发现了存在相关记录。本地文件包含发现账号tomcat。并没有一句话木马,脚本已经被加载。image参数 存在 文件包含。1.4 源码分析+文件包含。1.6 反弹shell。原创 2024-04-14 06:53:52 · 381 阅读 · 0 评论 -
面试题篇-13-Kafka相关面试题_kafka面试题,一种非常简单的大数据开发屏幕适配方案
消息队列Message Queue,简称MQ。是一种应用间的通信方式,主要由三个部分组成。生产者:Producer消息的产生者与调用端主要负责消息所承载的业务信息的实例化是一个队列的发起方代理:Broker主要的处理单元负责消息的存储、投递、及各种队列附加功能的实现是消息队列最核心的组成部分消费者:Consumer一个消息队列的终端也是消息的调用端,具体是根据消息承载的信息,处理各种业务逻辑。异步处理主要应用于对实时性要求不严格的场景,原创 2024-04-14 06:52:49 · 590 阅读 · 0 评论 -
面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题_mongodb,redis,zookeeper,kafka的基本知识区别
穿透:缓存不存在,数据库不存在,高并发,少量key击穿:缓存不存在,数据库存在,高并发,少量key雪崩:缓存不存在,数据库存在,高并发,大量key。原创 2024-04-14 06:52:18 · 727 阅读 · 0 评论 -
面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题_mongodb,redis,zookeeper,kafka的基本知识区别(1)
穿透:缓存不存在,数据库不存在,高并发,少量key击穿:缓存不存在,数据库存在,高并发,少量key雪崩:缓存不存在,数据库存在,高并发,大量key。原创 2024-04-14 06:51:47 · 525 阅读 · 0 评论 -
面试旺季,鸿蒙开发岗位怎么能没有面试题刷呢?(1),新鲜出炉的蚂蚁金服面经
4. 请解释鸿蒙系统中音视频传输的基本流程,以及在网络传输中如何保证音视频的质量和实时性?3.内存管理在鸿蒙系统中尤为关键,请谈谈你会如何有效地进行内存优化,避免内存泄漏?3. 在鸿蒙系统中,如何进行音频和视频的采集与处理?5. 请谈谈鸿蒙系统在内存管理方面的优化措施,以及这些措施如何提升系统性能。1.请简述音视频编码的基本原理,以及鸿蒙系统中常见的音视频编码格式有哪些?能否举例说明其实现原理?1.请简述鸿蒙系统的底层架构,并解释各层的主要功能和作用。1.请简述在鸿蒙系统中,你如何理解性能优化的重要性?原创 2024-04-14 06:50:44 · 468 阅读 · 0 评论 -
面试怕被问算法?50个大厂、987页大数据、算法项目落地经验教程合集!
同时,随着文本、语音、视觉等智能技术的不断深入,知识图谱在复杂知识表示、多模语义理解技术与应用等方面都面临新的挑战与机遇。有怎样的技术方案沉淀?滴滴出行作为移动出行领域的一家领先的移动互联网企业,也正积极布局和利用智能语音交互相关技术,如语音识别、语音对话理解、语音合成等,以便更好的为司机和乘客提供高质量服务,具体地,包含有司机智能助手和滴滴智能客服系统等应用产品。本议题首先介绍美团智能客服的对话交互框架,然后就我们在其中意图挖掘、意图理解、情绪识别、对话管理等核心模块中用到的机器学习算法进行详细的介绍。原创 2024-04-14 06:50:12 · 721 阅读 · 0 评论 -
面试必考体系庞大的Handler你真的都了解吗?Handler二十七问带你打破砂锅问到底!_handler和synchronized优缺点(3)
Hanlder机制的运行原理。之所以不提这个问题,是因为要回答好这个问题需要大量知识储备,希望屏幕前的你在读完这篇之后,再结合自己的知识库,形成自己的**“完美答案”**。原创 2024-04-14 06:49:09 · 694 阅读 · 0 评论 -
面试必考体系庞大的Handler你真的都了解吗?Handler二十七问带你打破砂锅问到底!_handler和synchronized优缺点(2)
epoll。原创 2024-04-14 06:48:37 · 623 阅读 · 0 评论 -
面试必考体系庞大的Handler你真的都了解吗?Handler二十七问带你打破砂锅问到底!_handler和synchronized优缺点(1)
/ 通过 Choreographer 发送绘制任务。// 同步屏障,阻塞所有的同步消息。原创 2024-04-14 06:48:07 · 412 阅读 · 0 评论