程序员
文章平均质量分 86
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn(4)
当Reduce Task接收的数据量不大时,则直接存放在内存缓冲区中,随着缓冲区文件的增多,MR后台线程将它们合并成一个更大有序文件,这个动作是Reduce阶段的Merge操作,这个过程中会产生许多中间文件,最后一次合并的结果直接输出到用户自定义的reduce函数。3.客户端根据RM的反馈信息,开始Job提交之前的初始化过程,包括队列、用户及优先级信息,和RM创建,启动AM所需的信息(例如应用Jar文件,Job资源信息,安全Token或其他资源描述);4.客户端向RM查询、获取应用的执行进展报告;原创 2024-05-15 10:15:31 · 306 阅读 · 0 评论 -
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn(3)
当Reduce Task接收的数据量不大时,则直接存放在内存缓冲区中,随着缓冲区文件的增多,MR后台线程将它们合并成一个更大有序文件,这个动作是Reduce阶段的Merge操作,这个过程中会产生许多中间文件,最后一次合并的结果直接输出到用户自定义的reduce函数。3.客户端根据RM的反馈信息,开始Job提交之前的初始化过程,包括队列、用户及优先级信息,和RM创建,启动AM所需的信息(例如应用Jar文件,Job资源信息,安全Token或其他资源描述);4.客户端向RM查询、获取应用的执行进展报告;原创 2024-05-15 10:14:55 · 314 阅读 · 0 评论 -
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn(2)
Apache Hadoop Yarn(Yet another Resource Negotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用的资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群的利用率,资源统一管理和数据共享等带来了巨大好处。Yarn产生的背景:扩展性受限单点故障不支持MR之外的计算多计算框架之间无法数据共享,资源利用率极低。MR:离线计算框架Spark:内存计算框架。原创 2024-05-15 10:14:19 · 315 阅读 · 0 评论 -
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn(1)
Apache Hadoop Yarn(Yet another Resource Negotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用的资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群的利用率,资源统一管理和数据共享等带来了巨大好处。Yarn产生的背景:扩展性受限单点故障不支持MR之外的计算多计算框架之间无法数据共享,资源利用率极低。MR:离线计算框架Spark:内存计算框架。原创 2024-05-15 10:13:43 · 255 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】八、命名空间资源配额以及标签_resourcequota 加 标签
切换命名空间后,kubectl get pods 如果不指定-n,查看的就是 kube-system 命名空间的资源了。#查看哪些资源属于命名空间级别的 在创建资源的时候没有指定命名空间就会在默认的命名空间 pod是命名空间级别的。习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!#对已经存在的 pod 打标签 表示这个pod版本是v1。#查看标签是否打成功 查看指定的pod。显示如下,说明标签达成功了。### 查看资源标签。原创 2024-05-15 01:37:06 · 831 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】八、命名空间资源配额以及标签_resourcequota 加 标签(2)
切换命名空间后,kubectl get pods 如果不指定-n,查看的就是 kube-system 命名空间的资源了。#查看哪些资源属于命名空间级别的 在创建资源的时候没有指定命名空间就会在默认的命名空间 pod是命名空间级别的。习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!#对已经存在的 pod 打标签 表示这个pod版本是v1。#查看标签是否打成功 查看指定的pod。显示如下,说明标签达成功了。### 查看资源标签。原创 2024-05-15 01:36:30 · 566 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】八、命名空间资源配额以及标签_resourcequota 加 标签(1)
标签其实就一对 key/value ,被关联到对象上,比如 Pod,标签的使用我们倾向于能够表示对象的特殊特点,就是一眼就看出了这个 Pod 是干什么的,标签可以用来划分特定的对象(比如版本,服务类型等),标签可以在创建一个对象的时候直接定义,也可以在后期随时修改,每一个对象可以拥有多个标签,但是,key 值必须是唯一的。创建标签之后也可以方便我们对资源进行分组管理。如果对 pod 打标签,之后就可以使用标签来查看、删除指定的 pod。在 k8s 中,大部分资源都可以打标签。原创 2024-05-15 01:35:54 · 373 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment
在每个节点上运行监控组件,比如:Prometheus、 Node Exporter 、collectd 等。都可以用daemonset去创建运行。原创 2024-05-15 01:35:17 · 297 阅读 · 0 评论 -
HBase完全分布式配置(上)hadoop篇 保姆级教程(近乎零基础跟着配也能配对)(1)
到此为止可以把这台虚拟机克隆两份了,分别叫node2和node3,注意要放到不同的文件夹下。node3同理。原创 2024-05-14 16:14:30 · 903 阅读 · 0 评论 -
Hadoop配置日志的聚集——jobhistory不显示任务问题_jobhistory页面看不到任务
指定 MapReduce 程序运行在 Yarn 上,表示MapReduce使用yarn框架。开启MapReduce小任务模式。设置日志聚集服务器地址。设置日志保留时间为7天。历史服务器web端地址。原创 2024-05-14 16:13:54 · 400 阅读 · 0 评论 -
Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件
双击桌面上的eclipse图标,创建项目:file->other->Map/Reducer Project->Next->Project name创建名为VideoCount的项目名,然后创建名为com.zout的包,接着在包里面创建一个java类,类名为VideoCount,我们又希望以生成 jar 包的方式提交和运行在 Hadoop 环境中,所以必须安装 Hadoop。每一行为一条数据,本次实战共1000w条数据。(由于任务量有要求,但是下载的数据只有50w条,因此复制了20份合并成一个数据文件。原创 2024-05-14 16:13:18 · 634 阅读 · 0 评论 -
Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件(2)
双击桌面上的eclipse图标,创建项目:file->other->Map/Reducer Project->Next->Project name创建名为VideoCount的项目名,然后创建名为com.zout的包,接着在包里面创建一个java类,类名为VideoCount,我们又希望以生成 jar 包的方式提交和运行在 Hadoop 环境中,所以必须安装 Hadoop。在运行一个 MR 程序时,任务过程被分为两个阶段:Map 阶段和 Reduce 阶段,每个阶段都是用键值对作为输入和输出。原创 2024-05-14 16:12:42 · 1027 阅读 · 0 评论 -
2024年最全手撕前端面试题【JavaScript】_js 深拷贝日期(4),2024年最新大数据开发实习面试经验汇总
🥭🥭3、获取到对象参数的构造函数名,判断是否为函数、正则、日期、ES6新对象其中之一,如果是则直接返回通过该参数对象对应的构造函数生成的新实例对象。🥭🥭5、在Map对象中获取当前参数对象,如果能获取到,则说明这里为循环引用并返回Map对象中该参数对象的值。🥭🥭6、如果在Map对象中没有获取到对应的值,则保存该参数对象到Map中,作为标记。🥭🥭2、判断对象参数数据类型是否为“object”,不是则返回该参数。🥭🥭8、遍历该对象参数,将每一项递归调用该函数本身的返回值赋给新对象。source—>源对象。原创 2024-05-14 07:36:26 · 346 阅读 · 0 评论 -
2024年最全手撕前端面试题【JavaScript】_js 深拷贝日期(1),2024年最新2024年大数据开发高级面试题
看完上面的例子你可能还是晕晕的,那么来详细的看看什么是深拷贝,什么是浅拷贝吧。js中的基础类型:string,number,boolean,null,undefined,symboljs中的引用类型:Object基础类型:是按照值 存放在栈中,占用的内存空间的大小是确定的,并由系统自动分配和自动释放。引用类型: 是按照地址 存在堆中,将存放在栈内存中的地址赋值给接收的变量。当我们想要访问引用类型的值的时候,需要先从栈中获得对象的地址指针,然后,在通过地址指针找到堆中的所需要的数据。原创 2024-05-14 07:35:50 · 779 阅读 · 0 评论 -
2024年最全我的《海量数据处理与大数据技术实战》出版啦!(1),2024年最新干货来袭
写作的过程中,我也认识了很多朋友,这些朋友中有技术很牛的阿里高级技术专家(P9级别),我们平时也天南地北的聊些技术话题,也有刚从学校出来工作的互联网新人,平时我也会向他们输出我的经验。之所以能写这么快,大概就是因为我有一个持续学习的好习惯吧,再加上在上学期间就养成的持续输出技术文章的习惯,基本上是一鼓作气的写完了全稿。期间,我也一路开挂式的写作,因为思路很清晰嘛,咱们的这位王编辑做事情也是很高效的,跟她配合起来效率就是高。就这样,我一路开挂式的写作,原本定的5个月的写作时间,只用了不到两个半月就写完了!原创 2024-05-14 07:35:14 · 727 阅读 · 0 评论 -
2024年最全我发现了一款高效管理接口文档的神器_yapi eolink(1),看完老板哭着让我留下来
结合 API 设计、文档管理、自动化测试、监控、研发管理和团队协作的一站式 API 生产平台,从个人开发者到跨国企业用户,Eolink 帮助全球超过30万开发者和数万家企业更快、更好且更安全地开发和使用 API。原创 2024-05-14 07:34:38 · 1093 阅读 · 0 评论 -
2024年大数据最新kafka学习,2024年最新看完直接跪服
包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**原创 2024-05-13 22:48:16 · 318 阅读 · 0 评论 -
2024年大数据最新Kafka入门到实战-第二弹(1),2024年最新大数据开发面试基础
Apache Kafka 是一个开源的分布式事件流平台,提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。原创 2024-05-13 22:47:40 · 231 阅读 · 0 评论 -
2024年大数据最新Kafka与数据入库架构知识_kafka数据如何入库,大数据开发阿里等大厂面试题汇总
在Kafka Consumer的实现中,心跳发送采用了轮询的方式,即只有当执行poll操作时,才可能会发送心跳。只有当消息消费完毕,线程进入轮询时,心跳操作才可能被执行。一般来说,下游(消费者)对Kafka数据的消费速度,不会直接影响到上游(生产者)对Kafka的数据生产。因为在Kafka的设计中,生产者和消费者是解耦和的,各自基于自己的缓冲策略和处理速率进行处理。在Kafka客户端的设计中,消费消息(即poll操作)和发送心跳是在同一个线程中进行的,但这并不意味着心跳会强制中断消息消费操作。原创 2024-05-13 22:47:04 · 366 阅读 · 0 评论 -
2024年大数据最新kafka3(2),腾讯T3大牛亲自教你
【代码】2024年大数据最新kafka3(2),腾讯T3大牛亲自教你。原创 2024-05-13 22:46:28 · 203 阅读 · 0 评论 -
深度学习实验:Softmax实现手写数字识别_案例1 softmax实现手写数字识别(1)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!if name == ‘main’:# You can modify the hyerparameters by yourself.relu_cfg = {‘原创 2024-05-12 19:51:25 · 555 阅读 · 0 评论 -
深入高性能NIO通信框架,Netty权威详解,大数据时代构建高可用系统利器
本篇适合架构师、设计师、软件开发工程师、测试人员和其他对Java NIO 框架、Java 通信感兴趣的相关人士阅读,相信通过学习本篇,能够熟悉和掌握Netty这一优秀的异步通信框架,实现高可用分布式系统的构建。作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty构建,比如RPC框架、Zookeeper等。如果你觉得你对Netty比较了解,那么试试你是否能通过下方这Netty追魂十一问。原创 2024-05-12 19:50:49 · 607 阅读 · 0 评论 -
深入分析JavaWeb Item29 -- 使用JDBC处理大数据(MySql + Oracle)
@Description:替换CLOB对象(将原CLOB对象清除,换成一个全新的CLOB对象)* @Description:替换BLOB对象(将原BLOB对象清除,换成一个全新的BLOB对象)* @Description:修改BLOB对象(是在原BLOB对象基础上进行覆盖式的修改)//4、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。//3、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。//4、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。原创 2024-05-12 19:50:13 · 420 阅读 · 0 评论 -
深入分析JavaWeb Item29 -- 使用JDBC处理大数据(MySql + Oracle)(4)
外链图片转存中…(img-1QZJBCEM-1715514536824)][外链图片转存中…(img-WUTso73A-1715514536825)][外链图片转存中…(img-tBUD4ldp-1715514536825)]既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新。原创 2024-05-12 19:49:37 · 844 阅读 · 0 评论 -
大数据最新计算机基础——操作系统_运行系统和操作系统,干货来袭
操作系统的设备管理是调配外部设备及控制外部设备按用户指令进行操作等,对于非存储型外部设备,如打印机:显示器等,分配给一个用户使用,在使用完毕后回收以便给另一个用户使用。对于存储型的外部设备,如磁盘,磁带等,提供存储空间给用户,用来存放数据。原创 2024-05-12 02:41:54 · 929 阅读 · 0 评论 -
大数据最新裸机安装部署运行ELK全套教程(3),绝对干货分享
重启网络服务:systemctl restart network查看IP设置执行命令: ip addr在虚拟机上ping物理机IP,执行命令:ping 192.168.3.138在物理机上ping虚拟机IP,执行命令:ping 192.168.48.120在虚拟机上ping百度,执行命令:ping ,说明虚拟机可以连上外网。原创 2024-05-12 02:41:19 · 536 阅读 · 0 评论 -
大数据最新裸机安装部署运行ELK全套教程(2),2024年最新【设计思想解读开源框架】
下面安装步骤一定要安装顺序执行,因为容器内IP会安装启动顺序生成172.17.0.2、172.17.0.3 …下载镜像要有些耐性,有些镜像下载可能有点慢,有些时候可能会超时要多执行几次。172.17.0.2 也可以使用虚拟机192.168.48.120替换。是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。查看已经下载镜像执行命令:docker images。原创 2024-05-12 02:40:43 · 688 阅读 · 0 评论 -
大数据最新若依实现第三方登录,史上最全保姆级教程_若依第三方登录,大数据开发面试基础
throw new ServiceException(“对不起,您的账号:” + user.getUserName() + " 已被删除");throw new ServiceException(“对不起,您的账号:” + user.getUserName() + " 已停用");log.info(“登录用户:{} 已被删除.”, user.getUserName());log.info(“登录用户:{} 已被停用.”, user.getUserName());//没有绑定用户,伪造一个用户,防止报错。原创 2024-05-12 02:40:06 · 1027 阅读 · 0 评论 -
大数据最全nnU-Netv2在服务器上使用全流程(小白边踩坑边学习的记录)(1),大数据开发培训那里好
背景:前期在本地windows电脑上装wsl再装nnunet走了很多弯路,环境配的很是破防。后在服务器上却比较轻松,所以强烈建议有条件的直接找个不那么贵的服务器平台(至少环境配崩了也可以直接重开,完全没有心理负担作为一个本科低年级的AI初学者,第一次做深度学习相关项目,第一次使用这个库,第一次独自配环境,加上恰逢nnunetv2更新后,原版本有些总结和经验不再能直接照抄使用,网上没有很快更新v2的教程,还是有些痛苦的。原创 2024-05-11 18:02:07 · 352 阅读 · 0 评论 -
大数据最全nginx+flume网络流量日志实时数据分析实战_日志数据分析,给大家安排上
除了政府和公益类网站之外,大多数网站的目的都是为了产生货币收入,说白了就是赚钱。要创建出用户需要的网站就必须进行网站分析,通过分析,找出用户实际需求,构建出符合用户需求的网站。网站分析,可以帮助网站管理员、运营人员、推广人员等实时获取网站流量信息,并从流量来源、网站内容、网站访客特性等多方面提供网站分析的数据依据。从而帮助提高网站流量,提升网站用户体验,让访客更多的沉淀下来变成会员或客户,通过更少的投入获取最大化的收入。原创 2024-05-11 18:01:30 · 293 阅读 · 0 评论 -
大数据最全Mycat实现单库水平分表、按月分表_mycat 按月分表(1),2024年最新逆袭面经分享
此分片适用于提前规划好分片字段某个范围属于哪个分片。dn1重启MycatMycatdn1。原创 2024-05-11 18:00:54 · 547 阅读 · 0 评论 -
大数据最全Mybatis学习之动态Sql_mybatisplus 封装简单sql在哪里,2024年最新2024年最新大厂大数据开发面试笔试题目
答案:动态Sql指的是,Sql语句是变化的,不是固定写死的,他会有一定的判断条件,主要变化的地方就是Sql语句的where部分。原创 2024-05-11 18:00:18 · 346 阅读 · 0 评论 -
【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains(聚类驱动的图联邦学习)
联邦学习( Federation Learning,FL )是在隐私受限的场景中学习一个中心模型(即服务器),其中数据存储在多个设备(即客户)上。中心模型不直接获取数据,只对每个客户端本地计算的参数进行更新。这就产生了一个问题,称为统计异质,因为客户可能具有不同的数据分布(即域)。聚类可以通过识别领域来降低异构性,但是它剥夺了每个集群模型的数据和其他人的监督。本文提出了一种新的聚类驱动的图联合学习( Fed CG )。原创 2024-05-11 04:07:32 · 752 阅读 · 0 评论 -
【计网OSI七层模型分层,TCP IP四层模型】 --- 史上最详细的解读(2w字)_计网层次模型
IP地址在网络中用于表示一个节点(或者网络设备的接口)IP地址用于IP报文早网络中的寻址。原创 2024-05-11 04:06:56 · 1033 阅读 · 0 评论 -
【腾讯云 Cloud Studio 实战训练营】基于Python实现的快速抽奖系统
if。原创 2024-05-11 04:06:19 · 649 阅读 · 0 评论 -
【编程基础】如何自学计算机 编程 从零开始的代码之路_从零开始学代码
经典算法,包括递归与分治算法、动态规划算法、贪心算法、回溯算法、分支界限算法的基本原理、实现方法和应用实例,使之熟悉算法复杂性分析理论和评价算法性能的标准,掌握基本的算法设计方法,能运用一些常用算法去分析和解决实际问题,具有较强的问题抽象和建模的能力,可以进一步分析和解决计算机科学与技术领域的复杂工程问题奠定良好的基础。编程语言处在不断的发展和变化中,从最初的机器语言发展到如今的2500种以上的高级语言,每种语言都有其特定的用途和不同的发展轨迹。选择合适的语言更有助于编程的学习和方便快捷的工作。原创 2024-05-11 04:05:43 · 1953 阅读 · 0 评论 -
Vue 前端导出、下载zip excel文件流blob_vue new blob 大量数据(1)
link.download = “模板下载”;大纲路线、讲解视频,并且后续会持续更新**// 导出execel2。才能获取到文件名等信息。原创 2024-05-10 19:28:27 · 981 阅读 · 0 评论 -
VSCode :大佬们都在用的快捷键!提升开发效率,建议先收藏!_vscode 快捷键
打开一个新窗口,相当于菜单栏的新建窗口,如下所示:图2 打开新窗口图3 打开新窗口: 打开命令面板,在输入框中输入命令,包含已安装插件命令。图4 打开命令面板退出当前工作窗口,相当于菜单栏的退出按钮,如下所示:图5 退出当前窗口。原创 2024-05-10 19:27:51 · 2309 阅读 · 0 评论 -
VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程
SSH服务的作用一般是有两方面:一是便于虚拟机节点之间免密访问,二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录,比如后面在启动hadoop服务时,主节点启动其它从节点,就需要免密去执行。搭建集群需要3个虚拟机,hadoop01,hadoop02,hadoop03,已经安装了hadoop01,剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK,这里是 jdk-8u161-linux-x64.tar.gz,3台机器均要执行以下。这里使用的是 hadoop-3.1.3.tar.gz。原创 2024-05-10 19:27:15 · 789 阅读 · 0 评论 -
VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程(2)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取上面的命令编辑hosts,在3个虚拟机都里面添加:在3个虚拟机下新增以下ip设置执行以下命令:以上所有配置完成后,执行:然后可以验证下网络是否通,出现一下说明配置正常:SSH服务的作用一般是有两方面:一是便于虚拟原创 2024-05-10 19:26:38 · 994 阅读 · 1 评论