- 博客(301)
- 收藏
- 关注
RSS订阅原创 hadoop快速入门
Hadoop之父doug cutting是一款apache软件基金会的一款开源软件允许用户使用简单编程实现跨机器集群对大量数据处理hdfs作为分布式文件存储系统，处于生态圈的底层和核心yarn作为分布式通用集群资源管理系统和任务调度平台，支撑各种运算引擎运行hadoop特性优点1.扩容很强2.成本低3.效率高4.可靠性强hadoop发型版本1.开源社区版：apache官方开源：优点：更新迭代快缺点：兼容性不稳定2.商业公司发行商业公司发行想要收费优点：兼容性好缺点：收费。
2024-06-20 16:14:25
668
原创 C#面向对象程序设计课程实验四：实验名称：C#面向对象程序设计基础_c#中面向对象的小游戏实践目的和任务(1)
请定义一个交通工具 Vehicle 类，其中包含的属性有速度（Speed）（只读）、体积 （Size（）可读写）等；最后，在 Main( )方法中实例化一个交通工具对象，初始化 Size 的值，通过方法给它初始化 Speed，并且通过输出方法打印出来。另外，调用加速、 减速的方法对速度进行改变。再为该类定义加（Addition）、 减（Substraction）、乘（Multiplication）、除（Division）4 个公有成员方法，分别对其 中两个成员变量执行加、减、乘、除的运算。
2024-06-20 14:25:15
335
原创 Apache Impala架构解析及与Hive、SparkSQL的性能比较_hive引擎执行效率对比
调用节点将结果返回给客户端。状态管理进程，定时检查The Impala Daemon的健康状况，协调各个运行Impalad的实例之间的信息关系，Impala正是通过这些信息去定位查询请求所要的数据，进程名叫作 statestored，在集群中只需要启动一个这样的进程，如果Impala节点由于物理原因、网络原因、软件原因或者其他原因而下线，Statestore会通知其他节点，避免查询任务分发到不可用的节点上。2．Impala支持内存中数据处理，它访问/分析存储在Hadoop数据节点上的数据，而无需数据移动。
2024-06-20 11:41:26
307
原创 HTML入门零基础教程（三）_heml每一项内容都需要分段显示1
(img-ZuTwUTfe-4701985744048)](img-TrtLom11-4701985744048)](img-Gdm8czxN-4701985744049)]标签用于定义段落，它可以将整个网页分为若干个段落。
2024-06-20 00:12:09
468
原创 2024春招面试题：Java并发相关知识_threadlocal经典的应 场景就是连接管理
可运行线程池中，变得可运行，等待获取CPU的使用权。3 .运行状态（Running）：就绪状态的线程获取了CPU，执行程序代码。入就绪状态，才有机会转到运行状态。2.阻塞的情况又分为三种：(1)、等待阻塞：运行的线程执行wait方法，该线程会释放占用的所有资源，JVM会把该线程放入“等待池”中。进入这个状态后，是不能自动唤醒的，必须依靠其他线程调用notify或notifyAll方法才能被唤醒，wait是object类的方法。
2024-06-19 23:00:28
546
原创 面试中经常问到的几道算法题，诸佬们还记得如何解答嘛_算法被问到自己一天的工作怎么回答
牛客部分使用反馈，个人感觉还不错，帮我找到了心仪的公司，希望各位伙伴儿们通过它也能提高不少🥂🥂🥂。
2024-05-16 13:13:29
298
原创 面试中经常问到的几道算法题，诸佬们还记得如何解答嘛_算法被问到自己一天的工作怎么回答(2)
🧑个人简介：大家好，我是小威，一个想要与大家共同进步的男人😉😉目前状况🎉：目前大二，在一家满意的公司实习👏👏🎁如果大佬在准备面试，可以使用我找实习前用的刷题神器哦💕欢迎大家：这里是CSDN，我总结知识的地方，欢迎来到我的博客，我亲爱的大佬😘牛客部分使用反馈，个人感觉还不错，帮我找到了心仪的公司，希望各位伙伴儿们通过它也能提高不少🥂🥂🥂。
2024-05-16 13:12:56
331
原创 面对大数据量渲染，前端工程师如何保证页面流畅性 _前端百万数据渲染处理
具体来说,我们可以在列表容器添加滚动监听,当滚动结束后,计算出当前可见区域的起始和结束索引,然后只渲染这个截断后的范围,复用之前的 DOM 元素。对于含大量图表的页面,我们也可以只渲染当前可视区域的图表,其他图表用一个 div 占位。一开始只加载第一页数据,当用户滚动到底部时,再加载下一页数据。对于特别复杂的图表,我们甚至可以只渲染简化的低像素占位预览图,真正渲染高清图表只有当图表可见时才进行。使用该组件时,只需要渲染 container,滚动时组件内部实现优化,大大减少 DOM 操作。
2024-05-16 13:11:50
337
原创 最新数据结构学习笔记（七）：哈希表（Hash Table(2)，大厂直通车
这个单词的意思，《牛津词典》的解释是：“a hot dish of cooked meat and potatoes that are cut into small pieces and mixed together ”，就是用切成碎末的肉和马铃薯做成的热菜，由此就引申除了“零碎、杂乱”的意思，到数据结构领域就成了“散列”。第一个哈希表（字典）的关键字是姓氏在《百家姓》中的次序，第二个哈希表（字典）的关键字是姓氏的拼音首字母，如何定义关键字是根据需求来的。，无论是存储还是取出数据都与数据所在的位置无关。
2024-05-16 09:31:17
228
原创 最新数据结构学习笔记（七）：哈希表（Hash Table(1)，2024年最新大数据开发面试大数据开发基础
我们认为，数组型结构和树型结构都可以看成线性表型结构的推广，而哈希表的散列型结构又是数组型结构的推广。为什么这么说呢？在中，无论是链表、栈还是队列，每一个元素在空间位置上与构成关联；在中，每一个数据在空间位置上都与构成关联，的本质含义是元素与首元素的；在结构中，每一个数据在空间位置上的元素构成关联。因此，与相比，将所有元素相互依赖的转换为所有元素具有的结构，从而实现了基于索引的；将元素间的关系推广为的关系，从而实现了。上述中，能够衍生出的只有。
2024-05-16 09:30:44
368
原创 最新数据结构与算法——线性表（链表篇）_线性链表(4)，我总结了24家大厂100份面试题
/将性结点插入表中，L为头指针。if(p->next == NULL){ //第i-1个结点之后已无其他结点。if(L == NULL){ //内存不足，分配失败。
2024-05-16 09:30:12
319
原创 最全Hive 热门数据分析笔试题（干货满满，持续更新中(1)，如何成为杰出的程序员
第一个 MapReduce 中，map 的输出结果集合会随机分布到 reduce 中， 每个 reduce 做部分聚合操作，并输出结果。hive.groupby.mapaggr.checkinterval=100000（用于设定 map 端进行聚合操作的条数）这样处理的结果是，相同的 group by key 有可能分发到不同的 reduce 中，从而达到负载均衡的目的；hive.map.aggr=true（用于设定是否在 map 端进行聚合，默认值为真，相当于 combine）有数据倾斜时进行负载均衡。
2024-05-16 01:42:22
828
原创 最全Hadoop环境搭建_hadoop搭建，积累总结
删除掉一些打印机，复印机，不需要的硬件选项，增加运行速度。使用VM的克隆的方法，创建三台虚拟服务器的主机，并且将三台服务器更名为master,slave1,slave2；先关闭主服务器master的开关，然后进行管理克隆操作。
2024-05-16 01:41:50
654
原创 最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(5)，2024年最新阿里P7大佬手把手教你
同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。(img-2yzziykp-1715794854655)]在hadoop01，hadoop02和hadoop03上分别执行以下三行。
2024-05-16 01:41:16
1041
原创 最全hadoop修改配置文件和环境变量_hadoop命令环境变量export配置，2024年最新2024大数据开发开发面试题及答案
2）修改文件#在configuration标签内添加以下内容。
2024-05-16 01:40:43
250
原创 大数据最全高性能 Kafka 及常见面试题，2024大数据开发精选面试实战总结整理
比如，秒杀系统经常用它保存各节点信息，以便控制消费 MQ 的服务数量。还有些业务系统的配置数据，也会通过 etcd 实时同步给业务系统的各节点，比如，秒杀管理后台会使用 etcd 将秒杀活动的配置数据实时同步给秒杀 API 服务各节点。通过使用零拷贝技术，Kafka 避免了不必要的数据拷贝，提高了数据的传输效率和整体性能。因集群架构变动导致的消费组内重平衡，如果kafka集内节点较多，比如数百个，那重平衡可能会耗时导致数分钟到数小时，此时kafka基本处于不可用状态，对kafka的TPS影响极大。
2024-05-15 16:55:40
344
原创 大数据最全靠转型大数据涨薪的日子一去不复返了 No，2024年最新惊喜
这才是接下来我们要发力的点，单单靠努力学习大数据工程师技能，已经不太行了。从横向来说，还可以有数据集群运维工程师、大数据平台开发工程师、数据治理架构师、数据服务架构师、大数据系统架构师、大数据框架开发工程师 这些职位来支持前面的这些流程更加方便快捷地开发和落地，以及更好地维护。数据挖掘的技能树横向和纵向都是很深的，并不适合所有的门外汉，因为往深了学确实很难，需要机器学习、深度学习、概率论、线性代数、智能优化方法等很深层次的数学知识，需要分布式一致性的各种算法，需要资源调度的各种理论。
2024-05-15 16:54:34
397
原创 大数据最全集合框架及背后的数据结构_集合框架和背后的数据结构，2024年最新算法真题解析：美团+Tencent+字节跳动+阿里+360+拼多多
例如，一副扑克牌(一组牌的集合)、一个邮箱(一组邮件的集合)、一个通讯录(一组姓名和电话的映射关系)等等。下面我们为大家初步指定三个小问题，希望大家在看完本文章后能对这三个问题有一个清晰的认识。1、了解清楚，接口和接口之间的关系。2、了解清楚，接口和类之间的关系。3、了解清楚，每个类背后的数据结构大概是个啥？
2024-05-15 16:54:02
281
原创 大数据最全【Flink】（八）容错机制_6，2024年最新不了解这些多线程的基础知识很难学懂大数据开发
然后，你安排一个助手，让他在你和朋友拨到皮筋时记录总数。相反，你向其他人发出错误警示，然后你们都从上一根皮筋处开始重数，助手则会告诉每个人重数时的起始数值，例如在粉色皮筋处的数值是多少。总状态(珠子的总数)在每颗珠子被拨动之后更新一次，助手则会保存与每根皮筋对应的检查点状态，如当遇到粉色皮筋时一共数了多少珠子，当遇到橙色皮筋时又是多少。如果项链上有很多珠子，你显然不想从头再数一遍，尤其是当三人的速度不一样却又试图合作的时候，更是如此(比如想记录前一分钟三人一共数了多少颗珠子，回想一下一分钟滚动窗口)。
2024-05-15 14:09:04
999
原创 大数据最全【Flink】（八）容错机制_6(1)，2024年最新一线互联网架构师筑基必备技能之大数据开发篇
然后，你安排一个助手，让他在你和朋友拨到皮筋时记录总数。相反，你向其他人发出错误警示，然后你们都从上一根皮筋处开始重数，助手则会告诉每个人重数时的起始数值，例如在粉色皮筋处的数值是多少。总状态(珠子的总数)在每颗珠子被拨动之后更新一次，助手则会保存与每根皮筋对应的检查点状态，如当遇到粉色皮筋时一共数了多少珠子，当遇到橙色皮筋时又是多少。如果项链上有很多珠子，你显然不想从头再数一遍，尤其是当三人的速度不一样却又试图合作的时候，更是如此(比如想记录前一分钟三人一共数了多少颗珠子，回想一下一分钟滚动窗口)。
2024-05-15 14:08:32
674
原创 大数据最全【Flink】（05）Apache Flink 漫谈系列 ，2024大数据开发进阶学习资料
把传入的赋值给自己的属性变量，并对传入的做了校验工作，然后将链接策略设置为HEAD。作为数据源的源头，是最顶端的节点了，所以只能采用HEAD或者NEVER，对于，采用的是HEAD策略。是Flink中流操作符的基础接口，其抽象子类实现了一些公共方法，用户自定义的数据处理逻辑会被封装在的具体实现子类中。在变量被赋值后，即开始进行的实例构建，并作为数据源构造调用的返回结果。的类继承图如下所示，是具有一个预定义输出类型的DataStream。可见构建过程就是初始化了DataStream中的和这两个属性。
2024-05-15 14:07:59
630
原创 大数据最全【elasticsearch实战】从零开始设计全站搜索引擎(6)，2024年最新真的醉了
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！该服务包括：搜索门户api、权限控制、搜索能力、搜索混排、搜索热词、联想关键词。由于自主维护的数据和第三方数据源数据都存储在es中，因此可以直接使用评分进行合并，如下
2024-05-15 14:07:26
823
原创 一文简单全面了解策略模式的使用【花几分钟轻松掌握一个知识点】_策略模式怎么知道调用哪个策略
new Context(new MerchantAIncome()).addCustomer(“商户1”);new Context(new MerchantBIncome()).addCustomer(“商户2”);new Context(new MerchantCIncome()).addCustomer(“商户3”);System.out.println(“渠道商A入驻”+customer+“成功”);client.addCustomerA(“商户1”);4. 定义调用客户端。
2024-05-15 05:38:38
227
原创 一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！这里也有个小坑、我的是版本是7.17.2 ，然后这个版本也没说的不能用，第一次装了一个最新的版本；装完后、发现版本不匹配。又重新下载安装了同一个版本的版本对应位置：h
2024-05-15 05:38:02
383
原创 一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(2)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plug
2024-05-15 05:37:26
334
原创 一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugi
2024-05-15 05:36:50
284
原创 Zookeeper：实现“分布式锁”的 Demo_zookeeper实现分布式锁demo(1)
Zookeeper 能保证数据的强一致性，用户任何时候都可以相信集群中每个节点的数据都是相同的。一个用户创建一个节点作为锁，另一个用户检测该节点，如果存在，代表别的用户已经锁住，如果不存在，则可以创建一个节点，代表拥有一个锁。
2024-05-14 20:57:46
365
原创 ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点
工作内容：事务请求的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各服务器的调度者；ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器，在ZK中，将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求，对于事务请求，预处理器会进行一系列预处理，如创建请求事务头、事务体、会话检查、ACL检查和版本检查。
2024-05-14 20:57:10
857
原创 ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点(3)
工作内容：事务请求的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各服务器的调度者；ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器，在ZK中，将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求，对于事务请求，预处理器会进行一系列预处理，如创建请求事务头、事务体、会话检查、ACL检查和版本检查。
2024-05-14 20:56:32
559
原创 ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点(2)
工作内容：事务请求的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各服务器的调度者；ZooKeeper使用责任链模式来处理客户端请求PrepRequestProcessor是Leader服务器的请求预处理器，在ZK中，将创建删除节点/更新数据/创建会话等会改变服务器状态的请求称为事务请求，对于事务请求，预处理器会进行一系列预处理，如创建请求事务头、事务体、会话检查、ACL检查和版本检查。
2024-05-14 20:55:55
817
原创 2024年最新大数据SQL面试题 001，浅谈大数据开发消息机制原理
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2024-05-14 11:38:34
361
原创 2024年最新大数据Spark电影评分数据分析_spark分析电影评分数据集(2)，2024年最新面试加分项
应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。代码实例：运行的结果为：abcldef。
2024-05-14 11:37:58
400
原创 2024年最新大数据Spark实时搜索日志实时分析_百度搜索日志数据集(3)，2024年最新太牛了
实时消费Kafka Topic数据，经过ETL（过滤、转换）后，保存至HDFS文件系统中，BatchInterval为：10s。* 实时消费Kafka Topic数据，累加统计各个搜索词的搜索次数，实现百度搜索风云榜。* 实时消费Kafka Topic数据，累加统计各个搜索词的搜索次数，实现百度搜索风云榜。// 2. 从Kafka消费数据，使用Kafka New Consumer API。// 2. 从Kafka消费数据，使用Kafka New Consumer API。
2024-05-14 11:37:22
255
原创 2024年最新大数据OLAP技术体系学习框架(2)，2024年最新字节跳动大数据开发研发岗这些知识点内部泄露出来了
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取四、Kudu分布式存储库五、Kylin数据仓库分析引擎六、Phoenix数据分析引擎七、大规模并行分布式SQL数据库Doris利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动
2024-05-14 11:36:45
303
原创 2024年微服务项目：尚融宝（32）（后端搭建(1)，深入剖析
)// 根据id查询会员日志记录//打开对话框//加载数据列表})既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-14 02:59:19
269
原创 2024年微服务技术栈之rabbitMQ高级（二）(3)，2024年大数据开发社招面试题
当消息投递到MQ，但是路由失败时，通过返回异常信息，同时返回ack的确认信息，代表投递成功临时消息投递到了MQ，并且入队成功，返回ACK，告知投递成功持久消息投递到了MQ，并且入队完成持久化，返回ACK ，告知投递成功其它情况都会返回NACK，告知投递失败其中ack和nack属于机制，ack是投递成功；nack是投递失败。而return则属于机制。默认两种机制都是关闭状态，需要通过配置文件来开启。
2024-05-14 02:58:43
532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人