程序员
文章平均质量分 85
普通网友
这个作者很懒,什么都没留下…
展开
-
一文简单全面了解策略模式的使用【花几分钟轻松掌握一个知识点】_策略模式怎么知道调用哪个策略
new Context(new MerchantAIncome()).addCustomer(“商户1”);new Context(new MerchantBIncome()).addCustomer(“商户2”);new Context(new MerchantCIncome()).addCustomer(“商户3”);System.out.println(“渠道商A入驻”+customer+“成功”);client.addCustomerA(“商户1”);4. 定义调用客户端。原创 2024-05-15 05:38:38 · 258 阅读 · 0 评论 -
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!这里也有个小坑、我的是版本是7.17.2 ,然后这个版本也没说的不能用,第一次装了一个最新的版本;装完后、发现版本不匹配。又重新下载安装了同一个版本的版本对应位置:h原创 2024-05-15 05:38:02 · 426 阅读 · 0 评论 -
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(2)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取提示:能够看出不同的分词器,分词有明显的区别,所以以后定义一个索引不能再使用默认的 mapping 了,要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plug原创 2024-05-15 05:37:26 · 376 阅读 · 0 评论 -
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取提示:能够看出不同的分词器,分词有明显的区别,所以以后定义一个索引不能再使用默认的 mapping 了,要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugi原创 2024-05-15 05:36:50 · 301 阅读 · 0 评论 -
Zookeeper:实现“分布式锁”的 Demo_zookeeper实现分布式锁demo(1)
Zookeeper 能保证数据的强一致性,用户任何时候都可以相信集群中每个节点的数据都是相同的。一个用户创建一个节点作为锁,另一个用户检测该节点,如果存在,代表别的用户已经锁住,如果不存在,则可以创建一个节点,代表拥有一个锁。原创 2024-05-14 20:57:46 · 383 阅读 · 0 评论 -
ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点
工作内容:事务请求的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各服务器的调度者;ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器,在ZK中,将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求,对于事务请求,预处理器会进行一系列预处理,如创建请求事务头、事务体、会话检查、ACL检查和版本检查。原创 2024-05-14 20:57:10 · 910 阅读 · 0 评论 -
ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点(3)
工作内容:事务请求的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各服务器的调度者;ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器,在ZK中,将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求,对于事务请求,预处理器会进行一系列预处理,如创建请求事务头、事务体、会话检查、ACL检查和版本检查。原创 2024-05-14 20:56:32 · 577 阅读 · 0 评论 -
ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点(2)
工作内容:事务请求的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各服务器的调度者;ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器,在ZK中,将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求,对于事务请求,预处理器会进行一系列预处理,如创建请求事务头、事务体、会话检查、ACL检查和版本检查。原创 2024-05-14 20:55:55 · 837 阅读 · 0 评论 -
2024年最新大数据SQL面试题 001,浅谈大数据开发消息机制原理
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**原创 2024-05-14 11:38:34 · 385 阅读 · 0 评论 -
2024年最新大数据Spark电影评分数据分析_spark分析电影评分数据集(2),2024年最新面试加分项
应用scala的stripMargin方法,在scala中stripMargin默认是“|”作为出来连接符,在多行换行的行头前面加一个“|”符号即可。代码实例:运行的结果为:abcldef。原创 2024-05-14 11:37:58 · 424 阅读 · 0 评论 -
2024年最新大数据Spark实时搜索日志实时分析_百度搜索日志数据集(3),2024年最新太牛了
实时消费Kafka Topic数据,经过ETL(过滤、转换)后,保存至HDFS文件系统中,BatchInterval为:10s。* 实时消费Kafka Topic数据,累加统计各个搜索词的搜索次数,实现百度搜索风云榜。* 实时消费Kafka Topic数据,累加统计各个搜索词的搜索次数,实现百度搜索风云榜。// 2. 从Kafka消费数据,使用Kafka New Consumer API。// 2. 从Kafka消费数据,使用Kafka New Consumer API。原创 2024-05-14 11:37:22 · 292 阅读 · 0 评论 -
2024年最新大数据OLAP技术体系学习框架(2),2024年最新字节跳动大数据开发研发岗这些知识点内部泄露出来了
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取四、Kudu分布式存储库五、Kylin数据仓库分析引擎六、Phoenix数据分析引擎七、大规模并行分布式SQL数据库Doris利用框架的力量,看懂游戏规则,才是入行的前提大多数人不懂,不会,不做,才是你的机会,你得行动原创 2024-05-14 11:36:45 · 315 阅读 · 0 评论 -
2024年微服务项目:尚融宝(32)(后端搭建(1),深入剖析
)// 根据id查询会员日志记录//打开对话框//加载数据列表})既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!原创 2024-05-14 02:59:19 · 288 阅读 · 0 评论 -
2024年微服务技术栈之rabbitMQ高级(二)(3),2024年大数据开发社招面试题
当消息投递到MQ,但是路由失败时,通过返回异常信息,同时返回ack的确认信息,代表投递成功临时消息投递到了MQ,并且入队成功,返回ACK,告知投递成功持久消息投递到了MQ,并且入队完成持久化,返回ACK ,告知投递成功其它情况都会返回NACK,告知投递失败其中ack和nack属于机制,ack是投递成功;nack是投递失败。而return则属于机制。默认两种机制都是关闭状态,需要通过配置文件来开启。原创 2024-05-14 02:58:43 · 553 阅读 · 0 评论 -
2024年微服务实战 微服务网关Zuul入门与实战_让服务请求全走网关(2),2024年最新面试字节跳动大数据开发工程师该怎么准备
创建子模块zuul,pom.xml引入eureka-client 和zuul的依赖。原创 2024-05-14 02:58:07 · 191 阅读 · 0 评论 -
2024年开源 SPL 消灭数以万计的数据库中间表_开源spl(6),大数据开发面试题
集文件是SPL提供的二进制数据格式,采用了压缩技术(占用空间更小读取更快),存储了数据类型(无需解析数据类型读取更快),还支持可追加数据的倍增分段机制,利用分段策略很容易实现并行计算,进一步提升计算性能。组表除了支持列存,实现了minmax索引外,还支持倍增分段机制,这样不仅能享受到列存的优势,也更容易并行提升计算性能。在使用文件作为数据存储方式时,无论原始数据是何种格式,最后都至少要转存成二进制(如集文件)格式,这样无论在空间占用还是计算性能上都会更有优势。基于文本做计算很难获得高性能。原创 2024-05-14 02:57:31 · 917 阅读 · 0 评论 -
2024年大数据最全SAP ABAP——数据类型(六),2024年最新大数据开发中为什么需要Handler
整数型I(1)值的范围是-2DATA: gv_i type i VALUE -2147483649."默认值超出整型范围系统会报错超出范围(2)只支持整数类型(3)非整数类型的数据会进行四舍五入的计算四舍五入。原创 2024-05-13 18:12:42 · 683 阅读 · 0 评论 -
2024年大数据最全R语言进行描述性统计分析_r tables of numerical summaries,王者笔记
(1)使用hist函数画出其直方图,使用density函数加入密度曲线,使用table统计产量频数,并进行简单分析。(2)利用上问的频数分布计算基本统计数,包括样本容量、最小值、最大值、极差、平均数、方差、标准差、变异系数。对BMI,高数,英语成绩进行描述性统计分析。指出这三项的一些描述性指数。随机产生21名学生的高数和英语成绩向量,并加入到上题产生的数据框中。,包括最小值、最大值、极差、平均数、方差、标准差、变异系数。原创 2024-05-13 18:12:06 · 328 阅读 · 0 评论 -
2024年大数据最全Redis - 2、5大数据类型_redis -2,涨薪7K
单键多值redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。它的底层实际上是使用双向链表实现的,对两端的操作性能很高,通过索引下标操作中间节点性能会较差。redis set对外提供的功与list类似,是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择。原创 2024-05-13 18:11:30 · 610 阅读 · 0 评论 -
2024年大数据最全React基础-JSX语法条件渲染详解_jsx 条件渲染,花三分钟看完这篇文章你就懂了
逻辑与运算符&&, 适合如果条件成立,渲染某一个组件;如果条件不成立,什么内容也不渲染;主要是控制display属性是否为none, 在React中也可以实现v-show的效果。例如下面代码表示student有值的时候才会渲染, 没有值什么也不渲染。方式二: 三元运算符判断, 适合逻辑比较简单。类似于Vue中v-if的效果。原创 2024-05-13 18:10:54 · 157 阅读 · 0 评论 -
2024年java面试系列-JDBC常见面试题(附答案)_jdbc面试题,深入理解Nginx
当我们为了数据的一致性使用事务时,数据库系统用锁来防止别人访问事务中用到的数据。数据库通过锁来防止脏读,不可重复读(Non-Repeatable Reads)及幻读(Phantom-Read)的问题。数据库使用JDBC设置的隔离级别来决定它使用何种锁机制,我们可以通过Connection的getTransactionIsolation和setTransactionIsolation方法来获取和设置数据库的隔离级别。隔离级别事务脏读不可重复读幻读不支持不可用不可用不可用支持阻止允许。原创 2024-05-13 12:37:08 · 596 阅读 · 0 评论 -
2024年Java面向对象三大基本特征之多态_面向对象方法中,多态指的是(6),计算机专业必看
/在向下转型过程中,容易出现类型转换异常ClassCastException,将父类引用转换成了其它的子类对象,所以在转换之前需要对父类引用类型进行判断。//定义一个动物叫的方法。原创 2024-05-13 12:36:32 · 637 阅读 · 0 评论 -
2024年Java经典面试题分享_java面试经典(1),最新大厂大数据开发社招面试经验汇总
🧑个人简介:大家好,我是小威,一个想要与大家共同进步的男人😉😉目前状况🎉:目前大二,在一家满意的公司实习👏👏🎁如果大佬在准备面试,可以使用我找实习前用的刷题神器哦💕欢迎大家:这里是CSDN,我总结知识的地方,欢迎来到我的博客,我亲爱的大佬😘以下正文开始。原创 2024-05-13 12:35:56 · 884 阅读 · 0 评论 -
2024年java程序员的AI之路-大数据篇 hadoop安装(1),作为程序员一定不要仅仅追求物质
最近AI(人工智能)是一大风口啊,乌镇互联网大会各个大佬们记们谈论点都是AI了,在这样的行情下,怎么能不沾一沾Ai的潮流,拥抱人工智能的热浪中去呢。在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。原创 2024-05-13 12:35:20 · 582 阅读 · 0 评论 -
最新React全家桶(技术栈)_react全家桶包括哪些技术(2),2024大厂大数据开发知识点总结
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取第一种方式(React v15.5 开始已弃用):第二种方式(新):使用prop-types库进限制(需要引入prop-types库) 需求: 自定义组件, 功能说明如下:1. 点击按钮, 提示第一个输入框中的值2.原创 2024-05-12 15:16:10 · 312 阅读 · 0 评论 -
最新RabbitMQ:消息分发模型_分发系统模型,2024年最新大数据开发工程师跳槽经验分享
Work queues,也被称为 Task queues,任务模型,当消息处理比较耗时时的时候,可能产生消息的速度会远远大于消息的消费速度,消息会堆积越来越多,无法及时处理,此时就可以使用work模型:让多个消费者绑定一个队列,共同消费队列中的消息,队列中的消息一旦消费,就会消失,因此任务不会被重复执行。(img-qV3Qorpd-1715498093666)]消费者1:Hello RabbitMQ 1。消费者1:Hello RabbitMQ 3。消费者1:Hello RabbitMQ 5。原创 2024-05-12 15:15:33 · 442 阅读 · 1 评论 -
最新RabbitMQ学习总结-消息的可靠性,2024年最新程序员深度学习
对于以上三种回执,基本回执都是固定的,AMQP提供了消息确认的方式,不用写代码,配置就可以,配置有三种:none-配置它失败了,消息会被删除,auto-失败了,消息会回到MQ重新投递,不会丢失,不会被删除,manual-太麻烦,算了。3.2 生产者有重试机制,消费者也有重试机制,但是,对于消费者的重试,如果一直失败,那就要有一定的策略,可以把这个失败的消息放到另一个交换机上,后续人工进行干预,这样可以保证消息不丢失。reject:消息失败,并拒绝了消息,并且从队列中删除了消息。4.业务的幂等性判断。原创 2024-05-12 15:14:57 · 355 阅读 · 0 评论 -
最新RabbitMQ基础(1),350道大数据开发面试真题分享
多个消费者绑定到一个队列,同一条消息只会被一个消费者处理通过设置prefetch来控制消费者预取的消息数量。原创 2024-05-12 15:14:21 · 852 阅读 · 0 评论 -
最全ES(Elasticsearch)的docker安装部署教程_docker 安装es(1),2024年最新字节跳动大数据开发研发岗这些知识点内部泄露出来了
cd /data。原创 2024-05-12 06:42:38 · 961 阅读 · 0 评论 -
最全ELK日志分析(5),2024年最新非科班程序员求职经历分享
Logstash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。Logstash的理念1)Collect:数据输入2)Enrich:数据加工,如过滤,改写等3)Transport:数据输出(被其他模块进行调用)原创 2024-05-12 06:42:02 · 955 阅读 · 0 评论 -
最全ElasticSearch面试题整理(持续更新)_elsearch面试题(1),宅家36天咸鱼翻身入职腾讯
Elasticsearch 使用一种称为倒排索引的结构,ES中的倒排索引其实就是 **lucene 的倒排索引,**区别于传统的正向索引,倒排索引会再存储数据时将关键词和数据进行关联,保存到倒排表中,然后查询时,将查询内容进行分词后在倒排表中进行查询,最后匹配数据即可。深翻页:比如我们检索一次,轮询所有分片,汇集结果,根据 TF-IDF 等算法打分,排序后将前 10。对用户来说,翻页应该很快啊,但是实际上,第一次检索多复杂,下一次检索就多复杂。不翻页,也就不会翻页了,数据就可以清除了。原创 2024-05-12 06:41:26 · 950 阅读 · 0 评论 -
最全ElasticSearch相关知识(3),字节跳动历年大数据开发中高级面试题全收录
版本号(version)只是其中一个实现方式,我们还可以借助外部系统使用版本控制,一个常见的设置是使用其它数据库作为主要的数据存储,使用 Elasticsearch 做数据检索, 这意味着主数据库的所有更改发生时都需要被复制到 Elasticsearch ,如果多个进程负责这一数据同步,你可能遇到类似于之前描述的并发问题。乐观锁的好处是不需要互斥锁的参与。如果你要重新运行此请求时,它将会失败,并返回像我们之前看到的同样的冲突错误,因为指定的外部版本号不大于 Elasticsearch 的当前版本号。原创 2024-05-12 06:40:50 · 891 阅读 · 0 评论 -
大数据最新DirectX12(D3D12)基础教程(外篇三)—(1),大数据开发组件化架构实践
这个错误的提示,起初让我一脸懵逼,它提示的本意是说设置了光栅化阶段,但是后续的阶段并没有提供Position流变量,然后我想到的就是仔细检查了提供给ID3D12Device::CreateGraphicsPipelineState函数的所有参数,一个个比对,居然在同样参数的情况下,一个例子可以创建成功,另一个例子死活不行。原创 2024-05-11 22:04:26 · 425 阅读 · 0 评论 -
大数据最新DirectX12(D3D12)基础教程(十七)—(6),这是一份用心整理的大数据开发面试总结
其次,在D3D12中就不能再简单的通过定义与shader中对应的顶点结构的方式来组织和上传数据到GPU了,具体的只需要按照D3D12_INPUT_ELEMENT_DESC结构体的要求,结合数据自身的结构特点定义具体的数据上传布局。其定义中InputSlot即是指定当前记录使用哪个插槽(Slot)来传输数据(理解为通道更恰当一些)。// 定义传入管线的数据结构,这里使用了多Slot方式,注意Slot的用法。原创 2024-05-11 22:03:51 · 598 阅读 · 0 评论 -
大数据最新DirectX12(D3D12)基础教程(十七)—(2),大厂经典高频面试题体系化集合
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取n⃗x2(1−cos(θ))cos(θ)n⃗xn⃗y(1−cos(θ))n⃗zsin(θ)n⃗xn⃗z(1−cos(θ))−n⃗ysin(θ)n⃗xn⃗y(1−cos(θ))−n⃗zsin(θ)n⃗y2(1−cos(θ原创 2024-05-11 22:03:15 · 843 阅读 · 1 评论 -
大数据最新Datax入门案例,大数据开发开发究竟该如何学习
defaultFS 填namenode通信端口path 必须实现在hdfs中完成创建filename 是文件前缀直接从官网复制下来修改即可,不需要的配置可以删除,如下需要注意,text的文件类型,压缩格式必须设置GZIP或者BZIP2,否则会报错。如果使用的orc则不会出现这种问题。完成建表后,保证hadoop、mysql、hive正常运行,在datax安装目录下执行以下命令(注意,需要修改为自己相应的文件目录)运行后查看结果。原创 2024-05-11 22:02:38 · 304 阅读 · 0 评论 -
助力工业物联网,工业大数据之ODS层构建:需求分析【八】_工业大数据 标签(3)
合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!step1:在Windows的用户家目录下创建pip.ini文件。step2:将文件添加到Windows的。step4:CMD中依次执行以下安装命令。step3:进入项目环境目录。原创 2024-05-11 13:27:22 · 714 阅读 · 0 评论 -
助力工业物联网,工业大数据之ODS层构建:需求分析【八】_工业大数据 标签(2)
合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!step1:在Windows的用户家目录下创建pip.ini文件。step2:将文件添加到Windows的。step4:CMD中依次执行以下安装命令。step3:进入项目环境目录。原创 2024-05-11 13:26:46 · 576 阅读 · 0 评论 -
助力工业物联网,工业大数据之ODS层构建:需求分析【八】_工业大数据 标签(1)
掌握ODS层构建的实现需求:将已经采集同步成功的101张表的数据加载到Hive的ODS层数据表中难点1:表太多,如何构建每张表?101张表的数据已经存储在HDFS上建表方法1:手动开发每一张表建表语句,手动运行方法2:通过程序自动化建表申明分区难点2:如果使用自动建表,如何获取每张表的字段信息?:加载Sqoop生成的Avro的Schema文件,实现自动化建表step4:创建ODS层增量表:57张表读取增量表表名获取表的信息:表的注释获取表的文件:HDFS上AVRO文件的地址。原创 2024-05-11 13:26:10 · 821 阅读 · 0 评论 -
助力工业物联网,工业大数据之ODS层构建:申明分区代码及测试【十】_ods 工业
step4:Oracle字段类型与Hive/SparkSQL字段类型不一致怎么办?问题5:Oracle中的字段类型如果与Hive中的类型不一致怎么办?:将ODS层中的每一张表创建一张对应的DWD层的表。:创建DWD层数据库one_make_dwd。问题2:表的名称名是什么,怎么获取?step4:HDFS上的路径是什么?step3:怎么获取字段信息?问题4:表的字段怎么获取?step5:如何实现自动化。问题3:表的注释怎么来?原创 2024-05-11 13:25:34 · 669 阅读 · 0 评论