普通网友-CSDN博客

原创玩转大数据21：基于FP-Growth算法的关联规则挖掘及实现_基于fp-growth的数据挖掘与可视化系统(1)

在这个示例中，我们首先使用Pandas库读取了一个用户行为数据集。然后，我们使用FPGrowth库创建了一个FPGrowth对象，并调用方法来生成频繁项集和关联规则。接下来，我们使用方法为特定用户生成个性化推荐列表。在这个示例中，我们假设要为user_id为1001的用户进行推荐。最后，我们打印出个性化推荐列表。

2024-05-16 11:30:58 396

原创猿创征文｜高效能IT项目经理百宝箱中的五子良将_it项目多少人战斗力最强

IT项目经理（英文全称：IT Project Managers）是IT类项目中一个非常重要的角色。项目经理是一个项目的带头人，它需要负责带领团队去完成一个具体的项目，达到对方或者boss的需求。大海航行靠舵手，项目经理就像航船上的船长，要给整条船的人指明方向，同时还要协调好导航员、水手、后勤等各个岗位的人，保证船能按期到底成功的彼岸。项目经理无疑是一个灵魂人物，是各方的联系人和关系枢纽。作为高效能的项目经理，怎么能快速梳理甲方爸爸或者老板的需求，准确又快速的进行原型设计，并向他们汇报。

2024-05-16 11:30:25 279

原创猿创征文｜高效能IT项目经理百宝箱中的五子良将_it项目多少人战斗力最强(2)

这就是本次分享的主要内容，本文主要介绍了项目经理在日常工作中高频使用的软件，本人做项目经理时也是经常采用哦，比如禅道、xmind、Axure、语雀、CSDN开发者社区等等。每一款工具或者网站，可能不同的项目经理都会有自己喜爱的平台和软件。但无论如何，祝愿我们的项目经理都能带领团队准确又快速的到达成功的彼岸。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2024-05-16 11:29:52 421

原创猿创征文｜高效能IT项目经理百宝箱中的五子良将_it项目多少人战斗力最强(1)

用语雀，构建你的数字花园”，这是语雀的口号，也是语雀的目标，使用语雀文档，可以为每一个人，为每一个团队，提供优秀的文档与知识库工具。可以加深对需求的理解，即时跟用户进行确认，可以避免由于自身对需求理解的不到位导致需求的偏差，同时在向下传导的时候，如果没有原型的确认，研发的同学很难准确的了解需求，并用于指导编程实现。通过鱼骨图，我们来复盘和分析营销推广广告效果不佳的原因，可以从人员、环境、内容、过程、渠道、管理等6个方面来进行深入的分析，最后分析出具体的原因以及找出针对性的做法。

2024-05-16 11:29:20 384

原创最全保姆级别指导开发UI应用【实战指导建议收藏】(1)，2024年最新阿里P8手把手教你

几分钟时间，我们开发这个应用：我们下面用网格式布局来实现这个界面！

2024-05-16 03:42:55 281

原创最全使用Spark操作Hudi表详细教程_spark sql操作hudi(1)，中高级大数据开发面试中你不得不会的知识点

验证方法使用普通查询。发现只有新增的这一条数据。

2024-05-16 03:42:22 912

原创最全使用es必须要知道的一些知识点：索引篇_es创建索引(2)，【工作经验分享】

在业务系统中，字符串类型的数据，一般被用作或。当Elasticsearch被用作大数据量存储中心时，尤其是从Mysql迁移数据进来的情况下，我们很多场景下其实无需对字符串分词，也就是说字符串存储不使用es中的text，我们可以设置属性的类型为keyword。但是，如果数据结构中的字符串非常多，有没有一种方式，可以使字符串属性自动用keyword方式存储呢？这时候我们可以使用索引动态模板（Dynamic Template）来实现。

2024-05-16 03:41:49 801

原创最全使用Coze工作流(二)_coze 工作流(1)，入职阿里啦

你可以在 Code 节点内使用 IDE 工具，通过 AI 自动生成代码或编写自定义代码逻辑，来处理输入参数并返回响应结果。该节点支持 JavaScript、Python 运行时。知识库节点可以根据输入参数从指定知识库内召回匹配的信息。该节点是一个 if-else 节点，用于设计工作流内的分支流程。要想在 Bot 内使用该工作流，则需要发布工作流。当向该节点输入参数时，节点会判断是否符合。只有试运行成功时，才能发布工作流。步骤四：在 Bot 内使用工作流。对应的工作流分支，否则执行。区域的条件，符合则执行。

2024-05-16 03:41:16 1126

原创大数据最新【LAMMPS学习】三、构建LAMMPS(8)构建 LAMMPS 文档(3)，2024年最新面试题+笔记+项目实战

该手册的当前版本（最新功能版本，即发布分支的状态）可在线获取：https://docs.lammps.org/。与正在进行的开发（即开发分支的状态）相对应的手册版本可在线获取：https://docs.lammps.org/latest/ 与最新稳定的 LAMMPS 版本相对应的手册版本（这是稳定分支的状态）可在线获取：https://docs.lammps.org/stable/这需要各种工具和文件。CMake 构建后安装 LAMMPS 时，将 HTML 手册页的安装包含到“安装”步骤中。

2024-05-15 18:54:50 276

原创大数据最新【java刷算法】牛客—剑指offer3栈、数组，干货满满

两个栈实现队列的想法很简单，当我们入栈的时候直接入栈就好了，出栈的时候如果第二个栈不为空的话，直接把第一个栈的所有元素出栈入栈到第二个栈，然后第二个栈再出栈就是原本的入栈顺序了。，第一个栈先进的后出，第二个栈也是先进后出，可是宏观看第二个栈先入的是你后输入的，所以出栈的时候就是输入的顺序了。斐波那契数列很常见，那么本题也是入门级别的题，考察了递归的使用。这里采用二分法进行查找，也是二分查找的简单应用，详解上代码哦。本题的首先思想肯定是暴力破解，但是那样时间复杂度比较高。JZ10 斐波那契数列。

2024-05-15 18:54:17 388

原创大数据最新【JavaScript—数据类型】(1)，全世界都在问大数据开发开发凉了吗

使用表单、prompt 获取过来的数据默认是字符串类型的,此时就不能直接简单的进行加法运算,而需要转换变量的数据类型。通俗来说,就是把一种数据类型的变量转换成另外-种数据类型。

2024-05-15 18:53:44 387

原创大数据最新【Hive】（六）Hive DML 数据操纵语言详解_数据操纵语言解析(1)，从入门到真香

（2）加载HDFS文件到hive中上传文件到HDFS加载HDFS上数据（3）加载数据覆盖表中已有的数据上传文件到HDFS加载数据覆盖表中已有的数据。

2024-05-15 18:53:10 340

原创初级者与转行者，大数据如何学习最高效，简历该如何优化？_涤生大数据课程(1)

要用有限的时间，去做收益最高的事**，所以要在有限的时间内，选择一个方向，突破一个方向，而不是全面开花。一般中小型公司，使用Cdh集群比较多，集群规模一般在十几台到一两百台居多，一般运维1-5人居多，更多的是两三个人，当然也有些中小型公司选择上云，使用云服务部署集群节省服务器硬件损耗以及运维的成本。所有的大数据学习操作，必不可少的是集群，所以可以先从自己搭建一个集群开始，而对于初学者最好的，最方便的，最适合入门的就是CDH集群的搭建，使用CM管理的集群。所以如果做数据开发岗位，会使用相关组件即可。

2024-05-15 07:51:59 559

原创刚入职场的菜鸟，这些大数据知识点，你必须掌握了！_大数据菜鸟入门

大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**前提：不影响最终的业务逻辑（求和没问题求平均值）提前聚合map => 解决数据倾斜的一个方法。

2024-05-15 07:51:23 567

原创刚入职场的菜鸟，这些大数据知识点，你必须掌握了！_大数据菜鸟入门(3)

大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**前提：不影响最终的业务逻辑（求和没问题求平均值）提前聚合map => 解决数据倾斜的一个方法。

2024-05-15 07:50:47 745

原创刚入职场的菜鸟，这些大数据知识点，你必须掌握了！_大数据菜鸟入门(2)

含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、前端等。大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**：20G，8大类资料，关注即可领取（PPT模板、简历模板、技术资料）：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。：由各个技术群小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。前提：不影响最终的业务逻辑（求和没问题求平均值）提前聚合map => 解决数据倾斜的一个方法。

2024-05-15 07:50:10 439

原创【JavaScript 进阶教程】函数的定义调用及 this指向问题_javascript函数的调用什么问题

通过刚才的第三种函数的声明方法，是个构造函数，我们会想到什么，为什么函数也有构造函数，难道函数也是对象吗？是的那我们接下来验证一下。(img-g7IAEmta-1715699397572)](img-xO3l4X2r-1715699397572)]普通函数调用可以直接写函数名调用，也可以使用 call() 方法调用。立即执行函数通常用于匿名函数的调用，立即执行函数是自动调用的。构造函数的调用只需要 new实例化对象就可调用。对此我们知道了函数也是对象就可以得到以下关系。事件对象调用需要触发事件就可以调用。

2024-05-14 23:10:19 464

原创【JavaScript 进阶教程】函数的定义调用及 this指向问题_javascript函数的调用什么问题(2)

还有一种不常见的函数声明方法是 new Function()，这个办法我们知道是个构造函数。但是由于这种方式比较繁琐麻烦，并且如果执行函数还需要转化语言格式为可识别的脚本语言，因此不使用这种方式声明函数，只需要知道。通过刚才的第三种函数的声明方法，是个构造函数，我们会想到什么，为什么函数也有构造函数，难道函数也是对象吗？普通函数调用可以直接写函数名调用，也可以使用 call() 方法调用。立即执行函数通常用于匿名函数的调用，立即执行函数是自动调用的。匿名函数即没有名字的函数，匿名函数的调用需要使用。

2024-05-14 23:09:44 595

原创【JavaScript 进阶教程】函数的定义调用及 this指向问题_javascript函数的调用什么问题(1)

函数的定义共三种方式：1.命名函数，2.匿名函数，3.利用 new Function() 来创建。

2024-05-14 23:09:08 979

原创【JavaEE基础与高级第6章】JavaEE中的二维数组详细介绍与应用_java二维数组的作用

【代码】【JavaEE基础与高级第6章】JavaEE中的二维数组详细介绍与应用_java二维数组的作用。

2024-05-14 23:08:31 102

原创 2024软考高项十大领域知识整理（三）--项目质量管理、沟通管理_高项10大知识领域

六、项目质量管理1.输入输出与工具技术2. ISO9000质量管理的8项原则3. 七种基本质量工具七、沟通管理1.过程组及输入输出、工具技术（ITO）2.沟通的方式3.沟通的渠道4.沟通方法。

2024-05-14 13:50:53 839

原创 2024软考高项十大领域知识整理（三）--项目质量管理、沟通管理_高项10大知识领域(5)

可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！质量管理是指为了实现质量目标而进行的所有质量特性活动。

2024-05-14 13:50:17 634

原创 2024软考高项十大领域知识整理（三）--项目质量管理、沟通管理_高项10大知识领域(4)

六、项目质量管理1.输入输出与工具技术2. ISO9000质量管理的8项原则3. 七种基本质量工具七、沟通管理1.过程组及输入输出、工具技术（ITO）2.沟通的方式3.沟通的渠道4.沟通方法。

2024-05-14 13:49:41 649

原创 2024软考高项十大领域知识整理（三）--项目质量管理、沟通管理_高项10大知识领域(3)

可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！质量管理是指为了实现质量目标而进行的所有质量特性活动。

2024-05-14 13:49:04 801

原创 2024年最全Win10安装Hadoop3，2024年最新2024最新大数据开发笔经

识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。变量值：D:\Hadoop\HDFS\hadoop-3.0.0。变量名：HADOOP_HOME。三、配置Hadoop。

2024-05-14 05:12:47 748

原创 2024年最全Vue 前端导出、下载zip excel文件流blob_vue new blob 大量数据，2024年最新源码解析

let objectUrl = URL.createObjectURL(blob) // 创建URL。// 创建Blob对象，设置文件类型。

2024-05-14 05:12:12 912

原创 2024年最全vmware（大数据）虚拟机网络配置（学不会打死我）(3)，2024年最新大数据开发外包是如何转正华为的

大数据是指规模庞大、复杂度高、变化速度快的数据集合，通常由传统数据库管理工具难以处理。这些数据通常具有三个主要特征：3V，即体量大（Volume）、多样化（Variety）、处理速度快（Velocity）。1.体量大（Volume）：大数据的特点之一是数据量巨大，远远超过了传统数据库处理的能力范围。这些数据可以来自各种来源，包括传感器、社交媒体、在线交易、移动设备等。

2024-05-14 05:11:36 844

原创 2024年最全VMware配置CentOS 7过程中的问题（下载Hadoop），2024年最新2024年阿里大数据开发面试题精选

（VMware装在移动硬盘有些不方便，如将硬盘移除时不仅仅要关闭程序，还要在任务管理器中关闭一些程序才行，频繁移动时比较麻烦）关闭防火墙，永久关闭SELinux，配置host列表。从官网上进行下载，改变安装地址（我安装在移动硬盘）默认直接下一步。JAVA_HOME问题在于：hadoop-env.sh文件中配置路径时#删除（会高亮）。问题在测试时出现：JAVA_HOME con’t find ，文件不存在等问题。出现的问题：在文件中设置的环境变量，需要再使用更改命令source才能真的有用。

2024-05-14 05:10:56 234

原创 2024年大数据最全大数据领域相关术语总结(3)，2024年最新图文详解

例如，Google的BERT模型、OpenAI的GPT模型、Facebook的RoBERTa模型等都是目前最为著名的LLM大模型之一，它们使用了大量的训练数据和强大的计算资源，取得了在自然语言处理领域的重大突破。CVR 指的是广告被点击后，用户进行了期望的行为（比如购买、注册、订阅等）的次数与广告被点击的次数之间的比例，通常以百分比的形式表示。例如，在计算机视觉、音频处理、医疗健康等领域，也可以使用类似的方法，使用大量数据和强大的计算资源来训练大型模型，从而实现更加准确和高效的预测和分析。

2024-05-13 20:24:23 558

原创 2024年大数据最全大数据面试专题 -- kafka，作为一个程序员你觉得最大的悲哀是什么

kafka是一种基于订阅发布模式的高性能，高吞吐的实时的消息队列，是一个分布式系统，高性能的TCP网络协议进行的。

2024-05-13 20:23:47 744

原创 2024年大数据最全大数据面试一锅炖(4)，2024年最新极其重要

客户端向zookeeper请求读文件，zookeeper查询元数据信息，根据namespace，表名，及列族找到文件所在的region，根据region找到对应regionserver，客户端请求regionserver读取region上的文件，客户端向nn申请读文件，namenode查询元数据信息，就近原则返回dn节点，dn开始传输数据，以packet为单位，客户端接收到数据，本地缓存，最后写入目标文件。先从memorystore读，再读blockcache。请求namenode上传第二个block块。

2024-05-13 20:23:11 686

原创 2024年大数据最全大数据面经字节跳动（整理）_字节大数据开发面经(1)，腾讯大数据开发开发面试记录

用个栈直接解决了，问下优化，如果遇到右括号，在查看栈顶元素的时候如果不匹配直接返回false还有什么要问我的吗？还聊了下他们的团队工作内容，主要对Spark的源码进行修改，还有其他等等大概是这些内容了。二面：二面面试官很严肃的感觉，不像一面面试官那样，比较轻松上来就聊下项目项目中kafka怎么使用的了不了解nginx给一个日志文件，有用户ID，时间戳，url，用mapreduce如何给出每天每个站点的访问任务在这个过程可能会出现什么问题？

2024-05-13 20:22:35 595

原创 2024年大数据hadoop 备忘录实时更新笔记，【干货】

9.修改用户所属组修改权限 hdfs dfs -chowd [-R] 777/xxx.txt（加-R对子目录生效）我们为什么要修改权限？因为hadoop只有指定的本地用户才能上传，如果我原来用的不是root，就算是root也上传不了，因为强龙压不过地头蛇fsck可以检查指定路径是否正常-files可以列出路径内的文件状态-files -blocks 输出文件块报告（有几个块，多少副本）-files -blocks -locations 输出每一个block的详情。

2024-05-13 14:50:31 570

原创 2024年多线程处理大数据问题，多线程高并发

String sql=String.format(“insert [%s] select %s,%s,‘%s’,‘%s’”,tableName,map.get(“流水号”).toString(),gridId,map.get(“名称”).toString(),map.get(“详细地址”).toString());List lists=lonLatInfoHandle(gridMap.get(“经纬度信息”).toString());//log.info(“网格ID”+gridId);

2024-05-13 14:49:55 385 1

原创 2024年多线程处理大数据问题(2)，2024年最新意外的惊喜

List lists=lonLatInfoHandle(gridMap.get(“经纬度信息”).toString());double x=Double.parseDouble(map.get(“经度”).toString());double y=Double.parseDouble(map.get(“纬度”).toString());String tableName=map.get(“目标表”).toString();String type=map.get(“类别”).toString();

2024-05-13 14:49:19 716

原创 2024年外卖项目需求说明书_外卖系统项目范围文档，2024年最新字节跳动+腾讯+华为+小米+阿里面试题分享

MySQL 是最流行的数据库之一。MySQL 由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 适合中小型软件，被个人用户以及中小企业青睐。MySQL 是开放源代码的数据库，任何人都可以获取该数据库的源代码。MySQL 是一款可以自由使用的数据库。MySQL 不仅可以在 Windows 系列的操作系统上运行，还可以在 UNIX、Linux 和 Mac OS 等操作系统上运行。

2024-05-13 14:48:42 665

原创最新大数据物流项目：概述及Docker入门（一）_物流大数据项目(2)，这份333页关于性能优化知识点的PDF你不能不看

在整个中，最后给大家展示：实时大屏统计分析，实时性要求不是很高，分钟基本延迟。实时大屏每隔10秒，刷新一下记录，从ClickHouse 数据库中查询分析数据，进行大屏展示。1）、行业背景介绍：自从国内电商购物节开始以后，每年用户电商APP购买物品增加，快递数量指数级别增长。2）、物流行业特点：属于复合型产业，实时产生大量的业务数据，需要关联性分析处理。3）、项目背景介绍：基于上述诉求，需要将快递物流产生相关业务数据，存储到大数据平台引擎中，进行分析（离线报表和实时查询检索）。

2024-05-12 17:27:43 746

原创最新大数据测试学习笔记之基准测试HiBench_hibench worldcount，2024年最新大数据开发中高级面试题

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！一个人可以走的很快，但一群人才能走的更远！

2024-05-12 17:27:06 555

原创最新大数据测试学习笔记之基准测试HiBench_hibench worldcount(1)，2024年最新阿里巴巴大数据开发面试题答案

同样的它还可以用于评估Spark Stream、Flink、Storm和Gearpump。

2024-05-12 17:26:30 319

原创最新大数据测试学习笔记之Python工具集_大数据测试主要工具，高级大数据开发晋升之View渲染机制

NumPy系统是Python的一种开源的数值计算扩展。总结，Scikit-learn实现了一整套用于数据降维，模型选择，特征提取和归一化的完整算法/模块，虽然缺少按步骤操作的参考教程，但Scikit-learn针对每个算法和模块都提供了丰富的参考样例和详细的说明文档。Scikit-learn是Python机器学习开源库，基本功能主要被分为六大部分：分类，回归，聚类，数据降维，模型选择和数据预处理。笔者注：numpy是基础数值计算的库，更是必须掌握的，便于我们深入理解原理，为后续学习其他库打下扎实的基础。

2024-05-12 17:25:54 248

空空如也

空空如也