程序员
文章平均质量分 87
普通网友
这个作者很懒,什么都没留下…
展开
-
【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法(文末有福利
内存若够,直接读入进行排序;内存不够,先划分为小文件,小文件排好序后,整理使用外排序进行归并。原创 2024-05-15 04:44:47 · 535 阅读 · 2 评论 -
【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法(文末有福利(3)
分治法,真香!原创 2024-05-15 04:44:11 · 728 阅读 · 0 评论 -
【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法(文末有福利(2)
分治法,真香!原创 2024-05-15 04:43:35 · 910 阅读 · 0 评论 -
【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法(文末有福利(1)
分治法,真香!原创 2024-05-15 04:42:59 · 704 阅读 · 0 评论 -
shell常用命令面试总结(脚本格式、函数运用、流程控制if、for、while)(1)
只要条件满足,就一直循环。原创 2024-05-14 20:03:33 · 132 阅读 · 0 评论 -
shell常用命令面试总结(涉及head、tail、cut、sort、wc命令用法(2)
变量定义规则(1)变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。(2)原创 2024-05-14 20:02:57 · 665 阅读 · 0 评论 -
shell常用命令面试总结(涉及head、tail、cut、sort、wc命令用法(1)
变量定义规则(1)变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。(2)原创 2024-05-14 20:02:21 · 798 阅读 · 0 评论 -
shell常用命令面试总结(文本处理命令三剑客grep、sed、awk)(四)_shell script用法 -exec grep -i ‘‘
n:只打印模式匹配的行-f:加载存放动作的文件-r:支持拓展正则-i:直接修改文件a:新增内容i:在前面新增内容r:追加的文件来自哪里w:将匹配内容写到指定文件d:将指定内容删除-r:支持拓展正则g:全局修改i:忽略大小写c:整行替换。原创 2024-05-14 20:01:45 · 880 阅读 · 0 评论 -
RabbitMQ:高效传递消息的魔法棒,一篇带你助力构建可靠的分布式系统(上篇)_rabbitmq rpc 什么格式 传送最快
System.out.println(“发布”+1000+“个单独确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“发布”+1000+“个异步确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“发布”+1000+“个异步确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“消息发送成功了” + var1);原创 2024-05-14 19:21:29 · 584 阅读 · 0 评论 -
RabbitMQ安装后遇到启动失败问题总结-win10_rabbitmq安装后服务无法启动
一定要登入如下网站查看你所安装的Erlang的OPT版本和RabbitMQ版本是否匹配正确,且请仔细看清说明,哪些版本是有严重问题的,请不要安装。我就在安装时随意看了看支持25,结果安装了25.0.1这个会被CVE问题所影响的版本,就开启了debug为啥RabbitMQ不能起来的问题. 还好网上大佬多,一路解决到终于能登入了。在注意哈:rabbitmq和Elasticsearch的安装路径一定不能有空格和汉字,使用默认的安装路径是有空格的,一定要注意!!!原创 2024-05-14 19:20:52 · 217 阅读 · 0 评论 -
2024年最新【中秋特辑-代码解析月饼节】C++比C语言更加规范(3),2024年最新厉害了
⭐命名空间中的内容,既可以定义变量,也可以定义函数命名空间是可以嵌套的【相对应的:调用的时候也需要嵌套调用】同一个工程中允许存在多个相同名称的命名空间,编译器最后会自动合成同一个命名空间中⭐缺省参数是C++中新添加的语法,使调用函数时变得更加灵活了⭐正是有函数名修饰规则的加持下,让C++相较于C语言上有了更加丰富的实现⭐如果函数返回时,出了函数作用域,如果返回对象还未还给系统,则可以使用引用返回如果已经还给系统了,则必须使用传值返回。原创 2024-05-14 10:44:44 · 227 阅读 · 0 评论 -
2024年最新【业务数据分析】——Excel数据透视表,2024年最新这些年我所经历的所有面试
下午5点30boss:把这张表给我整理成如下格式,就是根据平台给我汇总一下销量和收入,我要做个数据统计同学们,你们接到这样的需求之后,有什么想法呢?哈哈,第一个想法肯定是,我滴妈呀,为啥临到下班点给我派活,一天都干啥去了,是逼我加班么,这是什么boss,真够讨厌的。以上是开玩笑的啦,同学们都是积极上进的好同志,一般不会这么想的吧,肯定是在想解决方案,我该怎么操作。那接下来就看看怎么解决这个问题青铜:好办,在源表中按照品牌一个一个筛选,然后用函数。原创 2024-05-14 10:44:08 · 410 阅读 · 0 评论 -
2024年最新【一起学Java-第四篇】流程控制_java复合语句,2024年最新渣本逆袭大厂面经分享
复合语句也称语句块,是指由一对大括号括起来的若千条简单语句。复合语句定义变量的作用域(scope)。一个复合语句可以嵌套另一个复合语句。Java 语言的复合语句与C++复合语句不同的是:Java 语言不允许在两个嵌套的复合语句内声明同名的变量。如下面的代码在编译时将会出错。原创 2024-05-14 10:43:32 · 361 阅读 · 0 评论 -
2024年最新【WEB前端进阶之路】 HTML 全路线学习知识点梳理(下)(1),2024年最新大数据开发面试点梳理
表单元素是允许用户在表单中输入内容,比如:文本域(textarea)、下拉列表(select)、单选框(radio-buttons)、复选框(checkbox)等等。:默认值,指的是 HTTP GET 方法,表单数据会附加在 action 属性的 URL 中,并以?用于收集用户的输入信息,HTML 表单表示文档中的一个区域,此区域包含交互控件,将用户收集到的信息发送到 Web 服务器。:指的是 HTTP POST 方法,表单数据会包含在表单体内然后发送给服务器,用于提交敏感数据,如用户名与密码等。原创 2024-05-14 10:42:56 · 324 阅读 · 0 评论 -
2024年大数据最新深度学习(三)—— 神经元与神经网络_神经网络神经元,深度解析跳槽从开始到结束完整流程
b 为偏置ff 为,常见的激活函数有tanh,sigmoid,relutt 为神经元的输出使用数学公式表示就是:tfWTAbt=f(WTA+b)可见,。1943 年,McCulloch 和 Pitts 将上述情形抽象为上图所示的简单模型,这就是一直沿用至今的。把许多这样的神经元按照一定的层次结构连接起来,就得到了神经网络。原创 2024-05-14 02:05:16 · 373 阅读 · 0 评论 -
2024年大数据最新深度学习与神经网络之开宗明义 详解人工智能(4),颠覆认知
在人工智能的各个子领域中,由于其解决的问题各不相同,所以对应的目标和使用的工具并不完全相同。在传统意义上来说,人工智能研究的目标包括感知智能、认知智能、行为智能。人工智能自成立以来尝试并放弃了许多不同的方法,包括模拟人类大脑、模拟人类解决问题、形式逻辑、大型知识数据库和模仿动物行为。(小爱、小度、Siri)、智能驾驶系统(特斯拉)、量化交易系统、自动下棋系统(AlphaGo)等能够自动形成决策或者行动的系统。在该领域占据了主导地位,事实证明还是比较成功的,帮助整个工业界和学术界解决了许多具有挑战性的问题。原创 2024-05-14 02:04:39 · 330 阅读 · 0 评论 -
2024年大数据最新深入xJavaFxTool的插件开发模式_xjavafxtool 源码分析(2),2024年最新大数据开发高频面试题+解析
一个好的产品,离不开成熟的生态,可以兼容种类丰富的外部插件。同时,很方便的帮助开发者,基于一些公共的api来开发扩展基础应用,也是一项非常加分的能力。xJavaFxTool就是这么一款对开发者友好的开发框架。而xJavaFxTool的扩展能力,第一大语言优势就是,基于java开发语言,java语言的动态反射机制,有了反射机制,让动态调用得以实现,并在这里发光发热,项目的高效扩展集成得到了实现。原创 2024-05-14 02:04:03 · 266 阅读 · 0 评论 -
2024年大数据最新浅谈大数据建模的主要技术:维度建模_大数据平台数据 建模 设计,2024年最新农民工看完都学会了
怎么组织数据仓库中的数据?怎么组织才能使得数据的使用最为方便和便捷?怎么组织才能使得数据仓库具有良好的可扩展性和可维护性?Ralph Kimball 维度建模理论很好地回答和解决了上述问题。维度建模理论和技术也是目前在数据仓库领域中使用最为广泛的、也最得到认可和接纳的一项技术。今天我们就来深入探讨 Ralph Kimball 维度建模的各项技术,涵盖其基本理论、一般过程、维度表设计和事实表设计等各个方面,也为我们后面讲Hadoop 数据仓库实战打下基础。原创 2024-05-14 02:03:27 · 734 阅读 · 0 评论 -
2024年大数据最全Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生(1),2024年最新2024大数据开发开发面试解答之设计模式
Fluid 开源项目致力于通过结合学术界的原创研究和工业界的落地实践能力,加速云原生基础设施拥抱数据密集型应用,与开源社区一同构建 Kubernetes 平台应用使用和管理数据的统一界面。作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台,Fluid 将向更灵活、智能、可扩展的架构方向发展,不断提升开发者和用户使用体验。未来,Fluid 将继续与社区并肩、与生态同行,致力于推进云原生技术在大数据 / AI 系统领域的生态建设与普及,与全球开发者一起拓展云原生的边界。原创 2024-05-13 17:18:47 · 836 阅读 · 0 评论 -
2024年大数据最全Flink 中KeyBy、分区、分组的正确理解_flink keyby(1),2024年最新最新阿里大数据开发面试题目
Flink中的KeyBy底层其实就是通过Hash实现的,通过对Key的值进行Hash,再做一次murmurHash,取模运算。再通过Job的并行度,就能获取每个Key应该分配到那个子任务中了。原创 2024-05-13 17:18:11 · 325 阅读 · 0 评论 -
2024年大数据最全Flink StreamTask启动和执行源码分析(4),一文轻松搞定
Flink的StreamTask的启动和执行是一个复杂的过程,涉及多个关键步骤。初始化:StreamTask的初始化阶段涉及多个任务,包括Operator的配置、task特定的初始化以及初始化算子的State等。在这个阶段,Flink将业务处理函数抽象为operator,并通过operatorChain将业务代码串起来执行,以完成业务逻辑的处理。同时,还会调用具体task的init方法进行初始化。读取数据和事件:StreamTask通过mailboxProcessor读取数据和事件。运行业务逻辑。原创 2024-05-13 17:17:35 · 691 阅读 · 0 评论 -
2024年大数据最全flink + Atlas 任务数据血缘调通_atlas flink(1),大厂首发
注册监听添加配置属性一点说明:官方Flink1.12.0 版本之后支持配置,因此自己添加了个配置属性进行区分,原创 2024-05-13 17:16:58 · 377 阅读 · 0 评论 -
2024年AI遮天传 ML-回归分析入门_回归分析已知x求y,2024年最新新鲜出炉的蚂蚁金服面经
Regression回归分析我们通常叫做 Regression ,它其实是一大类方法。我们之前了解到的Predicition它即包括了Regression也包括了,即回归和分类。像是决策树适合的离散型输出,我们一般叫做分类;而对于连续型输出的问题,比如用户的满意度、一个家庭一年的开销或者是用户星级的评价、用户的点击又或是一些概率等等,就要用到这次介绍的Regression方法。回归分析是描述变量间关系的一种统计分析方法• 例:在线教育场景• 因变量 Y:在线学习课程满意度。原创 2024-05-13 11:43:09 · 588 阅读 · 0 评论 -
2024年AI变现之Gpts搞流量+赚钱_gpts广告分成多少钱一次点击,2024年最新阿里P8大牛从零开始教大数据开发开源框架
这两天 AI 圈最火的莫过于 OpenAI 开发者大会公布的一个爆炸产品 Gpts 了,大家都知道这个肯定是一个划时代的产品,也绝对是一个风口,虽然官方还没有公布到底怎么通过 Gpts 赚钱,但是奥特曼已经画出来饼了,说后续可以通过使用人数来获得收入,这篇文章就简析一下普通人怎么布局 Gpts ,通过 Gpts 能获得什么。原创 2024-05-13 11:42:33 · 256 阅读 · 0 评论 -
2024年AI十大展望:GPT-4领衔大模型变革,谷歌拉响警报,训练数据告急_人工智能未来十大趋势
大卫·霍尔茨(David Holz)是Midjourney的创始人兼首席执行官,他曾是Leap Motion的联合创始人兼首席技术官,Leap Motion曾是一家飞速发展的虚拟现实创业公司,这家公司在2010年代筹集了近1亿美元的风险投资,之后公司发展状况迅速恶化,最终被收购。因此,注定会出现一套新的工具和基础设施。原因很简单,因为我们现实世界的大部分架构都是为了人类而打造,如果我们想利用机器人在工厂、购物中心、办公室和学校这样的场所自动完成复杂活动,最有效的方法就是让机器人拥有和人类一样的外形。原创 2024-05-13 11:41:57 · 761 阅读 · 0 评论 -
2024年7 中方法处理 ML 中大型数据加载问题_大型数据使用的加载方法(1),2024年最新带你彻底搞懂大数据开发启动速度优化
*也许您可以通过使用其他数据格式,来加快数据加载并且降低内存的使用率。有许多命令行工具可用于将一种数据格式转换为另一种不要求将整个数据集加载到内存的格式的方法。使用另一种格式可以使您将数据存储在更紧凑的窗体中, 借此节省内存, 如2字节的整数或4字节的浮动。**也许你可以访问一台更大的计算机, 是以你电脑的内存的数量级倍数存在的那种。我认为这是一个很好的做法, 在一般的机器学习中,这种方式可以让你快速得到抽查的算法和周转的结果。也许有一个递减反馈的自然点, 让你可以使用其作为你小样本的一个合适的大小值。原创 2024-05-13 11:41:20 · 391 阅读 · 0 评论 -
最新Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生,意外收获字节跳动内部资料
Fluid 运行在 Kubernetes 上,是一个可扩展的分布式数据编排和加速系统,其目标为构建云原生环境下数据密集型应用的高效支撑平台。该项目开源于 2020 年 9 月,短短半年多时间内发展迅速,吸引了众多领域专家和工程师的关注与贡献,并在包括微博、中国电信等多家大型知名IT和互联网企业中使用。云原生环境下,计算存储分离架构在提升系统弹性和灵活性的同时,给大数据 / AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。Fluid 正是为解决这些问题而生的。Fluid 系统架构图。原创 2024-05-12 14:22:18 · 259 阅读 · 0 评论 -
最新Flink的DAG可视化开发实践_数据开发工具 dag(1),2024年最新大数据开发工作资料
离线分析之所以适合用DAG进行开发,是因为它的主要逻辑表达语言工具是SQL,再辅以循环、分支、归并等结构,更复杂的情况可以用MR和Python节点解决,这样几乎能完全适应所有离线分析的场景。而Flink虽然支持FlinkQL,但是它在实际工作场景下的适用性太弱了,关键的原因就在于离线分析是属于统计,而流式计算式是计算。如果可视化仅仅是拖出一个节点来,然后在里面用Java/Scala实现特定的方法,那这就不是可视化开发了,而是另一种Flink专用IDE了。通过界面配置逻辑,引擎执行逻辑,实现预期的行为。原创 2024-05-12 14:21:42 · 880 阅读 · 0 评论 -
最新Flink基础概念及算子_flink 算子,2024年最新【绝对干货】
/todo Watersensor Pojo对象//todo 该处定义对象@Override//todo 该处创建连接对象@Override//todo 清理,销毁连接//todo 该方法一条数据调用一次-不能创建对象,需要集成富函数//todo 核心处理逻辑@Override//逻辑通常不建议使用自定义Sink既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!原创 2024-05-12 14:21:06 · 931 阅读 · 0 评论 -
最新Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性,2024年大数据开发高级面试题总结
检查点保存的启动,标志着我们进入了两阶段提交协议的“预提交”阶段。但此时现在还没有具体提交的数据。jobManager 通知各个 TaskManager 启动检查点保存,Source 任务会将检查点分界线(barrier)注入数据流。这个 barrier 可以将数据流中的数据,分为进入当前检查点的集合和进入下一个检查点的集合。原创 2024-05-12 14:20:30 · 686 阅读 · 0 评论 -
数据结构 十大排序超硬核八万字详解【附动图演示、算法复杂度性能分析】
对于文件中的数据,一般都是很大的,不像我们上面所讲的十二十个数,可能会有成千上百的数据需要我们去排序,此时效率最高的就是【归并排序】了,因为面对海量的数据而言,像效率较高的【快速排序】需要克服三数取中的困难,还有像【堆排序】【希尔排序】这些,都无法支持随机访问,所以很难去对大量的文件进行一个排序,速度会非常之慢。即使是有文件函数【fseek()】这样的函数可以使文件指针偏移,还是很难做到高效。因为磁盘的速度比起内存差了太多太多了,具体的我不太清楚大概有差个几千倍这样,原创 2024-05-12 05:48:43 · 605 阅读 · 0 评论 -
数据结构 十大排序超硬核八万字详解【附动图演示、算法复杂度性能分析】(1)
gap > 1 —— 预排序* gap == 1 —— 直接插入排序*///gap /= 2;//保证最后的gap值为1,为直接插入排序i++){ //一位一位走end -= gap;elsebreak;i < n - 1;j < n;= a[i])/*简单选择排序*/原创 2024-05-12 05:48:04 · 536 阅读 · 0 评论 -
数据接口工程对接BI可视化大屏(六)接收前台数据_数据大屏对接数据(2)
在工作中也会遇到需要接收前台发送数据,进行存储的情况。这里以接收日志服务器的日志数据保存到kafka为例。使用SpringBoot提供的KafkaTemplate可以作为客户端生产者向kafka进行生产操作。//读取配置文件中dest.topic参数获取要写入的主题。在数据接口程序中接收日志并写入kafka。之后重启数据模拟程序。原创 2024-05-12 05:47:27 · 817 阅读 · 0 评论 -
数据接口工程对接BI可视化大屏(六)接收前台数据_数据大屏对接数据(1)
在工作中也会遇到需要接收前台发送数据,进行存储的情况。这里以接收日志服务器的日志数据保存到kafka为例。使用SpringBoot提供的KafkaTemplate可以作为客户端生产者向kafka进行生产操作。//读取配置文件中dest.topic参数获取要写入的主题。讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**在数据接口程序中接收日志并写入kafka。之后重启数据模拟程序。原创 2024-05-12 05:46:51 · 735 阅读 · 0 评论 -
大数据最全架构设计之大数据架构(Lambda架构、Kappa架构),2024年最新不可多得的干货
分布式、面向列的开源数据库,适合于非结构化数据存储。【实时数据和离线数据均支持】。: 高可用/可靠,分布式海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。:一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。:开放源码的分布式应用程序协调服务,是Hadoop和Hbase的重要组件。原创 2024-05-11 21:10:32 · 674 阅读 · 0 评论 -
大数据最全机器学习算法(7)—— 朴素贝叶斯算法,面试杀手锏
(1)优点朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率对缺失数据不太敏感,算法也比较简单,常用于文本分类分类准确度高,速度快(2)缺点由于使用了样本属性独立性的假设,所以如果特征属性有关联时其效果不好需要计算先验概率,而先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳;先验概率:直观理解,所谓“先”,就是在事情之前,即在事情发生之前事情发生的概率。是根据以往经验和分析得到的概率,“由因求果”。原创 2024-05-11 21:09:56 · 572 阅读 · 0 评论 -
大数据最全机器学习算法(3)—— 逻辑回归算法(2),快速从入门到精通
假设这样一个情况,如果99个样本癌症,1个样本非癌症,不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好,这就是问题:如何衡量样本不均衡下的评估?解答:AUC指标主要用于评估的问题。原创 2024-05-11 21:09:21 · 719 阅读 · 0 评论 -
大数据最全机器学习算法二:详解Boosting系列算法二GBM_gbm算法,2024年最新附赠课程+题库
2.构建提升树模型fM(x)fMxf_M(x)3.初始化f0(x)=0f0x0f_0(x)=0对于第m步,首先计算残差rmiyi−fm−1xir_{mi}=y_i-f_{m-1}({x_i})然后根据残差求取误差函数最小化的分类器,得到树模型Θm))Θm′argminΘ∑i1NLrmifm−1xiTx−i;原创 2024-05-11 21:08:44 · 961 阅读 · 0 评论 -
使用EasyExcel实现excel导出,支持百万大数据量导出-----超简单_easyexcel导出大量数据(1)
【代码】使用EasyExcel实现excel导出,支持百万大数据量导出-----超简单_easyexcel导出大量数据(1)原创 2024-05-11 12:33:32 · 243 阅读 · 0 评论 -
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图
在输入框中输入所需的限额,例如 “1”,填写完毕后,点击“请求”按钮提交请求:等待配额请求通过后,就可以继续该实验过程。原创 2024-05-11 12:32:57 · 998 阅读 · 0 评论