- 博客(253)
- 收藏
- 关注
RSS订阅原创 毕业设计：python全国天气气象数据爬取分析可视化系统+大屏+大数据（源码(1)
print(“爬虫任务执行开始！company = “平台注册”# 定时任务，每隔10s执行1次。# return # 新增的。# return # 新增的。
2024-05-16 10:46:50
340
原创 每天一道大厂SQL题【Day31】腾讯QQ(二)按类别统计QQ号相关信息(2)
a）table_use表的qq号是整数类型，而table_act表的qq号是字符串类型。这样的话，你需要在连接两个表的时候，把其中一个表的qq号转换成另一个表的qq号的类型，才能正确匹配。例如，你可以用cast函数把table_use表的qq号转换成字符串类型，然后和table_act表的qq号连接。😊另外，你想要统计每天不同性别的qq号个数、总消息量、平均在线时长，那么你需要用group by语句来按照日期和性别分组，然后用count、sum和avg函数来计算相应的指标。😊。
2024-05-16 10:46:18
271
原创 每天一道大厂SQL题【Day31】腾讯QQ(二)按类别统计QQ号相关信息(1)
table_use表的qq号是整数类型，而table_act表的qq号是字符串类型。这样的话，你需要在连接两个表的时候，把其中一个表的qq号转换成另一个表的qq号的类型，才能正确匹配。例如，你可以用cast函数把table_use表的qq号转换成字符串类型，然后和table_act表的qq号连接。另外，你想要统计每天不同性别的qq号个数、总消息量、平均在线时长，那么你需要用group by语句来按照日期和性别分组，然后用count、sum和avg函数来计算相应的指标。大家好，我是Maynor。
2024-05-16 10:45:45
275
原创 每天一道大厂SQL题【Day30】腾讯QQ(一)创建表，并插入数据_编写一段sql,创建一个qq用户表
的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。
2024-05-16 10:45:12
393
原创 最全【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战，2024年最新面试高频题目
/todo:利用sparkStreaming对接kafka实现单词计数----采用receiver(高级API)//1、创建sparkConf.set(“spark.streaming.receiver.writeAheadLog.enable”,“true”) //开启wal预写日志，保存数据源的可靠性//2、创建sparkContext//3、创建StreamingContext。
2024-05-16 02:58:19
741
原创 最全【Spark ML】（二）Spark ML 分类算法_spark分类算法(2)，2024年最新成功入职阿里月薪45K
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取Coefficients: (692,[…])Intercept: 0.224563159613Multinomial coefficients: 2 X 692 CSRMatrix(0,244) 0.0(
2024-05-16 02:57:47
750
原创 最全【Rust指南】use关键字妙用 模块内容拆分_rust use(1)，2024年最新2024最新大数据开发面试笔试
因此没有加pub关键字的第二个函数无法被调用，这就是遵循私有权限的体现。，但是我们知道公共模块里的内容也需要有。模块中嵌套了一个公共模块。
2024-05-16 02:57:14
544
原创 大数据最新openCV实战项目--人脸考勤_javaopencv人脸识别考勤(1)，2024年最新大数据开发面试大数据开发基础
等待进行下一次采集成功采集1次等待进行下一次采集成功采集2次等待进行下一次采集成功采集3次采集完毕。
2024-05-15 18:10:40
364
原创 大数据最新nnUNet-v2 官方调用教程（节选关键内容）_nnunetv2(1)，2024最新爱奇艺大数据开发社招面试题目
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取One big change in nnU-Net V2 is the support of multiple input file types. Gone are the days of converting eve
2024-05-15 18:09:34
267
原创 大数据最新Nginx入门指南_nginx 入门指南，作为大数据开发开发者
例如，请求/data/images/example.png这个文件，nginx服务器会返回http://localhost/images/example.png。上面提供的location块是长度只有1的最短前缀，因此，其它所有的location块都匹配失败的话，这个location块指令才会被使用。)，没有达到预期的效果，你可以尝试通过查看access.log和 error.log （通常在/usr/local/nginx/logs或者/var/log/nginx） 日志文件来找原因。
2024-05-15 18:09:01
369
原创 大数据最全基于大数据的房价分析--2(1)，2024年最新腾讯、阿里大数据开发高级面试真题汇总
print(“地址解析错误,status:”+str(jsonResult[‘status’])+“,msg:”+jsonResult[‘msg’]+“,errorUrl:”+urlResult)print(“没有错误信息,直接输出信息”+str(jsonResult))print(“同一地址不再解析”+data[‘address’])#根据返回码判断解析结果是否正确,如果不正确,去掉城市参数重试。#数据集中没有带解析的数据,解析该条数据。#用于解析每一条数据的方法。#用于存储结果的集合。
2024-05-15 15:23:59
269
原创 大数据最全基于协同过滤算法的推荐_基于项目的协同过滤算法(2)，使用指南
很多针对于购物行为推荐的关键点都没有处理，比如说时间序列，购物行为一定要注意对于时效性的分析，跨度达到几个月的推荐不会有好的效果。首先输入的数据源是7月份之前的购物行为数据，通过SQL脚本取出用户的购买行为数据，进入协同过滤组件，这么做的目的是简化流程，因为购买行为对这次实验分析是最有价值的。上述步骤介绍了如何生成强关联商品的对应列表，这里使用了比较简单的推荐规则，比如用户甲某在7月份之前买了商品A，商品A与B强相关，我们就在7月份之后推荐了商品B，并探查这次推荐是否命中。讲解视频，并且后续会持续更新**
2024-05-15 15:23:26
333
原创 大数据最全基于内存的分布式NoSQL数据库Redis(四)Jedis：使用方式(1)，互联网行业“中年”危机
分布式计算或者Java程序读写Redis，一般用于实际生产开发。：掌握Redis的使用方式及构建Jedis工程依赖。命令操作Redis，一般用于测试开发阶段。：Jedis中实现其他类型操作。Redis的使用方式。
2024-05-15 15:22:53
393
原创 大数据最全基于内存的分布式NoSQL数据库Redis(六)AOF设计(1)，成功入职腾讯月薪45K
优点：安全性和性能做了折中方案，提供了灵活的机制，如果性能要求不高，安全性可以达到最高。：数据持久化安全方案，理论上绝对性保证数据的安全。，相比于二进制文件来说，每次追加和加载比较慢。数据的变化以追加的方式写入AOF文件。：掌握Redis的AOF持久化机制。
2024-05-15 15:22:19
383
原创 代码出炉结构乱？Maven整理省心办。_为什么生成maven坐标时格式很乱(2)
1、jar包不统一，jar包不兼容。2、工程升级维护过程中的繁琐操作。1、Maven的本质是一个项目管理工具，将项目开发和管理过程抽象成一个项目对象过程（POM）。2、POM：（Project Object Model）项目对象模型。3、pom.xml配置文件，通过加载pom.xml文件来获取项目信息。（注：每个项目都有一个对应的pom.xml文件。4、依赖管理：（Dependency）项目对象需要使用依赖管理，同时做完的项目对象也可以当作一个依赖。
2024-05-15 07:02:04
606
原创 代码出炉结构乱？Maven整理省心办。_为什么生成maven坐标时格式很乱(1)
1、jar包不统一，jar包不兼容。2、工程升级维护过程中的繁琐操作。1、Maven的本质是一个项目管理工具，将项目开发和管理过程抽象成一个项目对象过程（POM）。2、POM：（Project Object Model）项目对象模型。3、pom.xml配置文件，通过加载pom.xml文件来获取项目信息。（注：每个项目都有一个对应的pom.xml文件。4、依赖管理：（Dependency）项目对象需要使用依赖管理，同时做完的项目对象也可以当作一个依赖。
2024-05-15 07:01:28
588
原创 【Docker】微服务学习笔记五：Docker常用命令解析_docker 映射命令解析(2)
1.前面基于Springboot的单体项目介绍已经完结了，至于项目中的其他功能实现我这里就不打算介绍了，因为涉及的知识点不难，而且都是简单的CRUD操作，假如有兴趣的话可以私信我我再看看要不要写几篇文章做个介绍。2.完成上一阶段的学习，我就投入到了微服务的学习当中，所用教程为B站上面黑马的微服务教程。由于我的记性不是很好，所以对于新事物的学习我比较喜欢做笔记以加强理解，在这里我会将笔记的重点内容做个总结发布到“微服务学习”笔记栏目中。
2024-05-14 22:20:09
835
原创 【Docker】微服务学习笔记五：Docker常用命令解析_docker 映射命令解析(1)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取个人简介：前言：在介绍Docker镜像相关命令之前我们先认识一下镜像的名称组成，镜像名称组成一般分为两部分：[repository]:[tag]，前面代表镜像名称，后面代表镜像版本，比如MySqk:5.7，在没有指定t
2024-05-14 22:19:32
744
原创 2024年最新鸿蒙开发实例｜对象关系映射数据库_@ohos(2)，2024年最新这份333页关于性能优化知识点的PDF你不能不看
在新建的User类中进行属性配置,tableName = "user"即在对应数据库内的表名为user,indices为属性列表,@Index注解的内容对应数据表索引的属性,本例中indices为firstName和lastName两个字段建立了复合索引,索引名为name_index,并且索引值是唯一的。ignoreColumns 表示该字段不需要添加到user 表的属性中,即类中定义的ignoreColumn1和ignoreColumn2不属于user表的属性。
2024-05-14 13:01:54
569
原创 2024年最新高架学习笔记之信息系统分类概览_管理信息系统开环结构(1)，2024年最新大数据开发经典面试题详解
ERP是由物料需求计划（Material Requirement Planning，MRP）到制造资源计划（Manufacturing Resource Planning Ⅱ，MRPⅡ）最后到ERP逐步发展而来的，MRP主要作为物料单系统来管理企业的物料需求，MRPⅡ在MRP基础上补充了库存，分销等信息，其核心是物流，主线是计划，而ERP在MRPⅡ的基础上又打通了供应链，并将财务，人力资源，销售管理等纳入管理范围内，至此，ERP的管理范围涉及企业的所有供需过程，是对供应链的全面管理。
2024-05-14 13:01:18
733
原创 2024年最新高并发架构（消息队列）(3)，2024年最新大数据开发系统开发面试题
1.系统可用性降低系统引入的外部依赖越多，越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了，ABCD 四个系统还好好的，没啥问题，你偏加个 MQ 进来，万一 MQ 挂了咋整？MQ 一挂，整套系统崩溃，你不就完了？如何保证消息队列的高可用，可以点击这里查看。2.系统复杂度提高硬生生加个 MQ 进来，你怎么保证消息没有重复消费？怎么处理消息丢失的情况？怎么保证消息传递的顺序性？头大头大，问题一大堆，痛苦不已。3.一致性问题。
2024-05-14 13:00:42
557
原创 2024年最新项目管理（PMP）项目相关方管理_pmp相关方管理，2024年最新15个经典面试问题及回答思路
基于对相关方需求，利益以及对项目成功的潜在影响的分析，制定合理的管理策略，以有效的调动相关方参与整个项目生命周期的过程。主要作用是为项目相关方的互动提供清晰且可操作的计划，以指导相关方参与项目。在整个项目生命周期中与相关方进行沟通和协作，以满足其需要和期望，解决实际出现的问题，并促进相关方合理参与项目活动的过程。帮助项目经理提升来自相关方的支持，并把相关方的抵制程度降到最低。全面监督相关方之间的关系，调整策略和计划，以调动相关方参与的过程，随着项目进展和环境变化，维持并提升相关方参与活动的效率和效果。
2024-05-14 13:00:05
315
原创 2024年最全Java 面试秘诀_java 不同年限面试题，2024年最新大数据开发基础面试题及答案
比如小张在大三时帮计算机系的王老师所在的ABC软件公司干了半年的活，如果小张在简历上写：“在校期间，从x年x月到x年x月完成了xx系统，用到了xx技术”，那么这多半会被当成类似于课程设计的学习经验，但如果再加上如下关键性的描述：“这个系统是属于xx公司的xx商业项目里的一部分，我和另外三位开发人员做了半年，最终这个系统成功上线并在客户xx公司的环境里投入运营”，那这样小张的商业项目总年限里就能加上这半年时间了。第二，尽量别出现长时间的“空白期”，比如上份工作是2月份结束的，而下份工作是6月开始的。
2024-05-14 04:24:02
728
原创 2024年最全Java 面试秘诀_java 不同年限面试题(2)，纯干货
比如小张在大三时帮计算机系的王老师所在的ABC软件公司干了半年的活，如果小张在简历上写：“在校期间，从x年x月到x年x月完成了xx系统，用到了xx技术”，那么这多半会被当成类似于课程设计的学习经验，但如果再加上如下关键性的描述：“这个系统是属于xx公司的xx商业项目里的一部分，我和另外三位开发人员做了半年，最终这个系统成功上线并在客户xx公司的环境里投入运营”，那这样小张的商业项目总年限里就能加上这半年时间了。第二，尽量别出现长时间的“空白期”，比如上份工作是2月份结束的，而下份工作是6月开始的。
2024-05-14 04:23:26
907
原创 2024年最全java 编程技术异步通信_java异步消息通知机制，2024年最新大数据开发开发者
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取ln -s /opt/activemq/bin/activemq /etc/init.d/activemqchkconfig --add activemqorg.springframework.bootspring
2024-05-14 04:22:50
624
原创 2024年最全Java 版本、语言规范、API、JDK、IDE(1)，限时发布
本文对 Java 的几个初学核心知识点作了小结，同时补充了特别重要的一点：Java 源程序编译和执行的原理，而这也是我们说 Java 语言具有跨平台性根本原因。另外关于具体的编译流程和执行流程我们会放到后面学习 JVM 的时候进行深度剖析。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-14 04:22:14
703
原创 2024年大数据最全使用Spark操作Hudi表详细教程_spark读取hudi，2024年最新大数据开发面试题目2024
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取option(PRECOMBINE_FIELD_OPT_KEY, “ts”).option(RECORDKEY_FIELD_OPT_KEY, “id”).option(TABLE_NAME, “hudi_mor_t
2024-05-13 19:35:42
574
1原创 2024年大数据最全使用 Docker 搭建离线数仓环境_docker数仓，2024年最新2024华为大数据开发面试真题解
KaTeX parse error: Expected 'EOF', got '#' at position 30: …in/start-dfs.sh#̲ 启动yarn。
2024-05-13 19:34:30
656
原创 2024年大数据最全从 0 到 1 学习 Presto，这一篇就够了_从0到1，学会presto，2024年最新大数据开发开发基础自学
2、将上传到服务器上,这里导入到 node01 服务器上的目录下，并解压至3、创建 presto 的数据目录 ()，用来存储日志这些4、在安装目录 /export/servers/presto-server-315 下创建 etc 目录,用来存放各种配置文件。
2024-05-13 19:33:52
799
原创 2024年【最新技术早知道】PCIe Gen5 还没用上，Gen6 就来了？PCIe 6(2)，2024年最新没想到一个Handler还有中高级几种问法
2019 年 5 月中旬 PCI-SIG 正式发布了 PCIe 5.0 的 1.0 版本后，便马不停蹄长驱直入进入了 PCIe 6.0 的预研阶段，并在 4 个半月后发布了 PCIe 6.0 的 0.3 版本。时隔两年，现如今 PCIe 6.0 的 0.9 版本已经发布，PCIe 6.0 正式版倚马可待（预计 2021 年底发布）。（最新消息：确定了 2022 Q1 发布 ）单 Lane 传输速率由 32 GT/s 变为 64 GT/s；传输信号由 NRZ 两电平变为 PAM4 四电平；
2024-05-13 14:01:47
797
原创 2024年【数据结构与算法】“堆”还能这样用_堆的应用_数据结构 堆 应用，2024年最新一个APP从启动到主页面显示经历了哪些过程
建堆选数堆排序⭐但事实真的是这样吗？并不！➡️假如我们调转一下思路，排升序不用小堆大堆小堆堆删除堆顶堆尾建堆建堆最大值建堆向下调整算法堆✊完整过程【时间复杂度：ON∗logNO(N*logN)O(N∗logN)】
2024-05-13 14:01:11
840
原创 2024年【数据结构】循环队列的实现_数据结构循环队列的实现(2)，快手大数据开发面试
队列满的时候在这个没有多开一个空间的队列中，满了之后也会两个下标指向同一个位置，那么循环队列的三个状态中最主要的两个已经解决了，循环队列的实现也就基本可以实现了。注意：上面动画中的n是队列的总长度，也就是它把多开的那个一个空间也算进去了，我下面的N表示的是循环队列的有效长度，也就是没把多开的一个空间算进去，这时候就无法区分front==rear是空队列还是满队列。初始状态的时候，front和rear都指向开始的位置，下面代码可以直接复制到LeetCode运行–>N+1=上面动画的n。
2024-05-13 14:00:34
380
原创 2024年【数据结构】—— 队列基础知识以及数组模拟队列的分析(1)，2024年最新2024大数据开发大厂面试题来袭
System.out.println(“h(head):查看队列头的数据”);System.out.println(“h(head):查看队列头的数据”);System.out.println(“a(add):添加数据到队列”);System.out.println(“g(get):从队列取出数据”);System.out.println(“a(add):添加数据到队列”);System.out.println(“g(get):从队列取出数据”);
2024-05-13 13:59:58
619
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人