![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序员
文章平均质量分 88
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据开发岗大厂面试30天冲刺 - 日积月累,每日五题【Day02】—(2)
大家好,我是manor。相信大家和我一样,都有一个大厂梦,作为一名大数据专业学生、爱好者,深知面试重要性,很多学生已经进入暑假模式,暑假也不能懈怠,正值金九银十的秋招接下来我准备用30天时间,基于大数据开发岗面试中的高频面试题,以每日5题的形式,带你过一遍热门面试题及恰如其分的解答。相信只要一路走来,日积月累,我们终会在最高处见。道阻且长,行则将至;行而不辍,未来可期!本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。原创 2024-05-15 10:48:48 · 299 阅读 · 0 评论 -
大数据开发岗大厂面试30天冲刺 - 日积月累,每日五题【Day02】—(1)
相信只要一路走来,日积月累,我们终会在最高处见。本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。原创 2024-05-15 10:48:12 · 228 阅读 · 0 评论 -
大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行_hadoopjava项目打包jar
点击Project StructureGlobal Libararies中点击+选择java然后选择spark文件里的jars下所有的jar包然后点击ok即可。原创 2024-05-15 10:47:36 · 381 阅读 · 0 评论 -
大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行_hadoopjava项目打包jar(1)
此时可以测试一下传参效果。idea调试时,main参数输入:菜单->run->Edit Configurations:这就是传入的两个参数。可以调试的时候试试。原创 2024-05-15 10:47:00 · 262 阅读 · 0 评论 -
【初阶数据结构与算法 4】时间 空间复杂度练习——消失的数字_消失的数字的空间复杂度(1)
前面学习了时间复杂度和空间复杂度相关的知识点,本文将通过练习题消失的数字,来巩固所学知识。原创 2024-05-15 02:10:18 · 334 阅读 · 0 评论 -
【初阶数据结构与算法 3】时间 空间复杂度练习——左旋字符_左旋数组时间和空间复杂度
【代码】【初阶数据结构与算法 3】时间 空间复杂度练习——左旋字符_左旋数组时间和空间复杂度。原创 2024-05-15 02:09:42 · 332 阅读 · 0 评论 -
【初阶数据结构与算法 3】时间 空间复杂度练习——左旋字符_左旋数组时间和空间复杂度(2)
【代码】【初阶数据结构与算法 3】时间 空间复杂度练习——左旋字符_左旋数组时间和空间复杂度(2)原创 2024-05-15 02:09:06 · 281 阅读 · 0 评论 -
【初阶数据结构与算法 3】时间 空间复杂度练习——左旋字符_左旋数组时间和空间复杂度(1)
/方法2 分两半直接copy,最后在合并一起copy回去。//表示旋转几个字符。//解法3 用指针、字符串库函数、动态内存空间。//方法4 3次逆转,很难想到。//基础解法2 用指针。原创 2024-05-15 02:08:30 · 350 阅读 · 0 评论 -
Java~常见并且特别重要的俩个排序--快速排序(递归、非递归、优化
/若是因为leftIndex下标导致结束循环,那么说明rightIndex已经找到比基准值小的元素,最后重合与基准值交换。//若是因为rightIndex下标导致结束循环,那么rightIndex下标未找到比基准值小的数据,最后导致重合。//归并排序区间采用左闭右开格式,快排采用左闭右闭格式。//选取(left,right)下标中间的一个随机值。//将俩个有序序列合并为一个有序序列。//将俩个有序序列合并为一个有序序列。//归并排序的非递归实现。//优化后的快速排序。//防止数据越界访问。原创 2024-05-14 16:48:31 · 507 阅读 · 0 评论 -
Java~常见并且特别重要的俩个排序--快速排序(递归、非递归、优化(1)
/若是因为leftIndex下标导致结束循环,那么说明rightIndex已经找到比基准值小的元素,最后重合与基准值交换。//若是因为leftIndex下标导致结束循环,那么说明rightIndex已经找到比基准值小的元素,最后重合与基准值交换。//若是因为rightIndex下标导致结束循环,那么rightIndex下标未找到比基准值小的数据,最后导致重合。//若是因为rightIndex下标导致结束循环,那么rightIndex下标未找到比基准值小的数据,最后导致重合。//选取最左边为基准值。原创 2024-05-14 16:47:55 · 471 阅读 · 0 评论 -
Java~大数据下的TopK(相对于普通PriorityQueue解决TopK优化其时间效率和空间效率)
如果有100亿个数据,我们进行向上向下调整的时候比较和互换值的时间浪费太多。//与队首进行比较入队列。//与队首进行比较入队列。原创 2024-05-14 16:47:19 · 893 阅读 · 0 评论 -
Java~大数据下的TopK(相对于普通PriorityQueue解决TopK优化其时间效率和空间效率)(2)
/与队首进行比较入队列。//与队首进行比较入队列。原创 2024-05-14 16:46:43 · 605 阅读 · 0 评论 -
Java~大数据下的TopK(相对于普通PriorityQueue解决TopK优化其时间效率和空间效率)(1)
但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。//与队首进行比较入队列。//与队首进行比较入队列。原创 2024-05-14 16:46:02 · 693 阅读 · 0 评论 -
2024年最全重生之我在湖科职学Spark,2024年最新大数据开发开发者
义、实战项目、大纲路线、讲解视频,并且后续会持续更新**mv:移动或重命名文件或目录。echo:显示文本或写入文件。head:显示文件开头内容。tail:显示文件末尾内容。df:显示磁盘空间使用情况。pwd:显示当前工作目录。find:查找文件或目录。uname:显示系统信息。rmdir:删除空目录。touch:创建空文件。grep:搜索文件内容。du:显示文件或目录的。mkdir:创建目录。cp:复制文件或目录。rm:删除文件或目录。cat:显示文件内容。原创 2024-05-14 08:09:49 · 822 阅读 · 0 评论 -
2024年最全配置项目的git(1),2024年最新面试字节跳动被问大数据开发屏幕适配方案
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!fetch: # 强制用远程仓库的覆盖本地,运行时指定分支名,如:make fetch branch=main。git branch -m main master # 将本地的 main 分支改名为 master。git push -u origin master # 将本地的 master 分支推送到远端仓库。原创 2024-05-14 08:09:13 · 383 阅读 · 0 评论 -
2024年最全进行大数据测试需要关注那些测试点?_大数据测试需要了解业务吗,大数据开发视频开发面试问题
数据爬取的是否正确、数据入库是否正确、存储的表及字段信息是否正确等。5.数据准确性:测试获取到数据的结果表与数据源头表是否一致,可能源表经过A -> B -> C处理后得到结果表,所以需要验证整个过程数据是否丢失,确保数据的准确与一致性,可基于数据的总量来考量验证。2.数据全面性:测试通过数据分析拿到的爬虫数据对应的友商是否全面,即:除了竞品或友商中A的数据应该获取,竞品或友商B、C、D的数据是否有考虑,通常在需求评审阶段提出,测试获取的数据是否完整 等。二、大数据的可靠性与数据的处理效率。原创 2024-05-14 08:08:37 · 364 阅读 · 0 评论 -
2024年最全贪吃蛇基础·框架版(简单)开头有原码_贪吃蛇小游戏框架图(2),2024年最新大数据开发开发避坑指南
/这里不涉及内存分配,它只是涉及只向的内容的变化while(self!return 0;if(head->x26)printf(“撞墙了”);return 1;return 0;status =R;//默认向右走 *while(1)//TODO//侦听所有键盘事件状态=D)//需要一个变量,来接收是哪个键按下去了。原创 2024-05-14 08:08:00 · 1019 阅读 · 0 评论 -
2024年大数据最新Spark Shuffle Tracking 原理分析,2024年大数据开发面试心得
Shuffle Tracking 是 Spark 在没有 ESS(External Shuffle Service)情况,并且开启 Dynamic Allocation 的重要功能。如在 K8S 上运行 spark 没有 ESS。本文档所有的前提都是基于以上条件的。如果开启了 ESS,那么 Executor 计算完后,把 shuffle 数据交给 ESS, Executor 没有任务时,可以安全退出,下游任务从 ESS 拉取 shuffle 数据。原创 2024-05-13 23:21:37 · 821 阅读 · 0 评论 -
2024年大数据最新Scala与Java中==与equals用法总结_scala equals(1),2024年最新掌握了这些大数据开发高级工程师必备知识
可以看到,这个方法的初始默认行为是比较对象的内存地址值,一般来说,意义不大。在这些类当中equals有其自身的实现(一般都是用来比较对象的成员变量值是否相同),而不再是比较类在堆内存中的存放地址了。所以说,对于复合数据类型之间进行equals比较,在没有覆写equals方法的情况下,他们之间的比较还是内存中的存放位置的地址值,跟双等号(==)的结果相同;或者equals方法时,更多的得到是二者的值是否相等(除非你比较的对象类型重写了equals方法,实现了自己的比较逻辑),而且很明显使用。原创 2024-05-13 23:21:01 · 269 阅读 · 0 评论 -
2024年大数据最新Redis的五种数据结构分析_redis hash len,写给大数据开发软件工程师的3条建议
当字符串的长度小于 1MB时,每次扩容都是加倍现有的空间。如果字符串长度超过 1MB时,每次扩容时只会扩展 1MB 的空间。这样既保证了内存空间够用,还不至于造成内存的浪费,字符串最大长度为 512MB。上图就是字符串的基本结构,其中 content 里面保存的是字符串内容,0x\0作为结束字符不会被计算len中。SDS的数据结构:capacity 和 len两个属性都是泛型,为什么不直接用int类型?原创 2024-05-13 23:20:25 · 893 阅读 · 0 评论 -
2024年大数据最新Redis的三种删除策略以及逐出算法_redis删除数据的三种方法,2024年最新揭秘今年大数据开发春招面试必问问题有哪些
给一个key设置过期时间,过期时间一到,这个key对应的过期数据真的被服务器立即删除了吗?答案是并不会立即删除。知道了这个答案,就来看看Redis中如何处理过期的数据。原创 2024-05-13 23:19:48 · 758 阅读 · 0 评论 -
玩转大数据21:基于FP-Growth算法的关联规则挖掘及实现_基于fp-growth的数据挖掘与可视化系统
在这个示例中,我们首先使用Pandas库读取了一个用户行为数据集。然后,我们使用FPGrowth库创建了一个FPGrowth对象,并调用方法来生成频繁项集和关联规则。接下来,我们使用方法为特定用户生成个性化推荐列表。在这个示例中,我们假设要为user_id为1001的用户进行推荐。最后,我们打印出个性化推荐列表。原创 2024-05-12 20:24:49 · 861 阅读 · 0 评论 -
猿创征文|高效能IT项目经理百宝箱中的五子良将_it项目多少人战斗力最强
这就是本次分享的主要内容,本文主要介绍了项目经理在日常工作中高频使用的软件,本人做项目经理时也是经常采用哦,比如禅道、xmind、Axure、语雀、CSDN开发者社区等等。每一款工具或者网站,可能不同的项目经理都会有自己喜爱的平台和软件。但无论如何,祝愿我们的项目经理都能带领团队准确又快速的到达成功的彼岸。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!原创 2024-05-12 20:24:13 · 260 阅读 · 0 评论 -
猿创征文|风起YuKon(禹贡)-空间数据库结缘数字孪生和实景三维建设_yukon数据库
YuKon(禹贡)是基于华为openGauss数据库的,在2020年9月,openGauss提供了PostGIS的适配,作为空间数据库管理的外部插件。2021年3月,在超图的推动下,社区成立了GIS SIG,openGauss/YuKon。从2021年3月到2022年5月,一直在升级PostGIS版本,扩展空间管理的核心能力。2022年6月,超图集团在第五届GIS软件技术大会正式发布YuKon空间数据库。原创 2024-05-12 20:23:37 · 815 阅读 · 0 评论 -
猿创征文|风起YuKon(禹贡)-空间数据库结缘数字孪生和实景三维建设_yukon数据库(1)
本人主要从事于地理信息行业,目前主要是围绕智慧城市、数字孪生、智慧自然资源、实景三维中国等GIS垂直领域建设相关的技术进行研究与探索,有一定的应用系统研发、架构和运维经验,专业从事信创行业有5年多。在这5年多的工作过程当中,会经常处理到海量的空间数据,对这些海量空间数据的管理与可视化,就一定会使用到空间数据库。原创 2024-05-12 20:23:00 · 547 阅读 · 0 评论 -
大数据趣味学习探讨(一):学习框架的重要性_学习主题为框架重要性(1)
你会发现很多东西是矛盾的,有些轮胎装不上轮毂,有些发动机不匹配变速箱,很多东西看上去有用,你装起来之后,发现就可以扔掉的,在组装的过程当中,你会一遍一遍的失败,然后一遍一遍的重来,然后逐渐理解发动机总成,变速箱总成,前后桥车架之间的关系,才能最终拼成一台可以开动的车。,它只能改变你的信息量,读是一个输入的操作,以前是个小学字典,读多了变成了新华字典,但只要你没有进一步的处理,它就永远是字典,毫无价值,真正的知识是有机的体系,而不是杂乱的堆积,想把信息转化知识,就一定要把无机变成有机,而。原创 2024-05-12 03:15:10 · 282 阅读 · 0 评论 -
大数据系统开发综合实验(二)Hive_MySQL_Sqoop配置_大数据开发实践 sqoop + hive
本文内容在Hadoop01中操作,不对Hadoop02,Hadoop03操作!!!原创 2024-05-12 03:14:34 · 692 阅读 · 0 评论 -
大数据系统开发综合实验(二)Hive_MySQL_Sqoop配置_大数据开发实践 sqoop + hive(2)
本文内容在Hadoop01中操作,不对Hadoop02,Hadoop03操作!!!原创 2024-05-12 03:13:58 · 277 阅读 · 0 评论 -
大数据系统开发综合实验(二)Hive_MySQL_Sqoop配置_大数据开发实践 sqoop + hive(1)
mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。原创 2024-05-12 03:13:22 · 564 阅读 · 0 评论 -
大数据最全win10系统 C++环境 安装编译GRPC_windows下grpc安装教程c++,大数据开发开发揭秘
demo.proto里面不能有中文或者utf-8的格式。原创 2024-05-11 18:35:25 · 289 阅读 · 0 评论 -
大数据最全win10系统 C++环境 安装编译GRPC_windows下grpc安装教程c++(1),2024年最新2024年大数据开发大厂面试
【代码】大数据最全win10系统 C++环境 安装编译GRPC_windows下grpc安装教程c++(1),2024年最新2024年大数据开发大厂面试。原创 2024-05-11 18:34:49 · 887 阅读 · 0 评论 -
大数据最全Vue 前端导出、下载zip excel文件流blob_vue new blob 大量数据,字节跳动架构师讲解大数据开发开发
link.download = “模板下载”;link.download = “模板下载”;大纲路线、讲解视频,并且后续会持续更新**// 导出execel2。才能获取到文件名等信息。原创 2024-05-11 18:34:13 · 1061 阅读 · 0 评论 -
大数据最全Ubuntu16,2024年最新PopupWindow和Dialog区别
缺少efi系统分区或启动器为放置在 efi系统分区下,这是使用U盘安装ubuntu导致grub主因。欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!另:还可以加一个分区,/usr/local/,承载大型软件的。,只需要第一个设为主分区;各个分区大小根据情况自己定义】原创 2024-05-11 18:33:36 · 342 阅读 · 0 评论 -
【项目精选】基于Web的机票预订系统_定要开发一个基于web的机票预订软件,其航班、票价等信息来源于多家航空公司,这些
管理员实体(Admin),留言评论实体(Discuss),航班实体(Flight),订单(Order)实体,普通用户实体(User)和广告信息实体(content)E-R图分别如下图所示。它的关注点主要集中在业务规则的制定、业务流程的实现等与业务需求有关的系统设计,也即是说它是与系统所应对的领域(Domain)逻辑有关,很多时候,也将业务逻辑层称为领域层。如今,互联网遍布于生活的每个角落,不断改变着人们的生产生活,基于Web的机票预订系统就是借助互联网发展的热潮,方便大众,服务大众。原创 2024-05-11 04:40:44 · 874 阅读 · 0 评论 -
【项目精选】基于Web的机票预订系统_定要开发一个基于web的机票预订软件,其航班、票价等信息来源于多家航空公司,这些(1)
Java Web,是用Java技术来解决相关web互联网领域的技术总和。随着Web互联网技术的出现和推广,基于Java技术的Java Web技术应运而生,并为解决互联网相关问题提出解决方案。我们知道,Web是由服务器和客户端两方面组成。原创 2024-05-11 04:40:08 · 1043 阅读 · 0 评论 -
【项目精选】基于WEB的仓库管理系统的设计与实现(论文+视频+源码
随着我国经济飞速的发展,改革开放的不断深入,企业要想在激烈的市场竞争中立于不败之地,要想继续的发展与生存,没有现代化的管理方式与方法是万万不行的,仓库管理的全面信息化、自动化则是在其中占有极其重要的地位。本系统可以用最小的时间、经费充分帮助仓库管理人员进行仓库货品的数量进行管理,可以对商品的类型、出入库时的数目、还有时间方面进行查询。管理员可以通过帐号和密码进行登录,登录后的主要功能是对用户与品信息的管理,主要的功能包括查看用户信息、修改用户信息、对库存商品进行查看等。基于对业务流程的分析,对数据流分析。原创 2024-05-11 04:39:32 · 958 阅读 · 0 评论 -
【项目精选】基于WEB的仓库管理系统的设计与实现(论文+视频+源码(3)
商品管理,主要包括用户对产品的入库操作、查询操作、出库操作等一系列的处理以及管理员对产品的管理。本系统可以用最小的时间、经费充分帮助仓库管理人员进行仓库货品的数量进行管理,可以对商品的类型、出入库时的数目、还有时间方面进行查询。管理员可以通过帐号和密码进行登录,登录后的主要功能是对用户与品信息的管理,主要的功能包括查看用户信息、修改用户信息、对库存商品进行查看等。仓库的管理员可以通过帐号和密码验证之后进行登录,登录到系统之后主要的功能是对商品与用户的信息进行管理,主要流程如图 2-4 所示。原创 2024-05-11 04:38:56 · 715 阅读 · 0 评论 -
[机器学习]Python安装简单教程(一)_机器学习毕业设计python安装说明(1)
暑假打算做一个大数据项目巩固所学知识,学习的课程是某硅谷的实时推荐和机器学习项目。原创 2024-05-10 20:01:44 · 688 阅读 · 0 评论 -
[SSD固态硬盘保养 1] 电脑优化设置,告别卡顿,享受顺畅 (独门 11 招)_关闭设备上的windows写入高速缓存缓冲区刷新
但如何硬盘中文件太多,那么做要做很多次垃圾回收才能释放出一片物理空间(一般至少要释放一个超级Block,比如96M)。这就好比有多个仓库,要腾空出一个空仓库一样。想象如果里面货物都非常多,你是不是要搬移很多轮才能达到目的。相反如何每个仓库里货物很少,是不是很快。固态硬盘垃圾回收就是这么个理。让硬盘剩余空间保持在10%以上,一般建议空余30%。如果硬盘满了,删除一些不重要的文件。可以把一些电脑文件存档到移动硬盘。原创 2024-05-10 20:01:08 · 523 阅读 · 0 评论 -
[SSD固态硬盘保养 1] 电脑优化设置,告别卡顿,享受顺畅 (独门 11 招)_关闭设备上的windows写入高速缓存缓冲区刷新(4)
只需要简单的设置一下,NVME的硬盘跑分会高很多。原创 2024-05-10 20:00:32 · 1002 阅读 · 0 评论