- 博客(124)
- 收藏
- 关注
RSS订阅原创 大白话讲解，大数据基本术语_大数据的术语解释
数据湖能处理所有类型的数据，如结构化数据，非结构化数据，半结构化数据等，数据的类型依赖于数据源系统的原始数据格式。它对星型模型的维表进一步层次化，原有的各维表可能被扩展为小的事实表，形成一些局部的 "层次 " 区域，这些被分解的表都连接到主维度表而不是事实表。），也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。在数据开发中，核心数据模型的变化是相对缓慢的，同时，对数据进行维护的工作量也非常大；
2024-05-01 04:37:06
475
原创 大白话讲解，大数据基本术语_大数据的术语解释(1)
而不同与数据仓库的是：数据仓库主要处理历史的、结构化的数据，而且这些数据必须与数据仓库事先定义的模型符合。数据仓库分析的指标都是产品经理提前规定好的。按需分析数据。（日活、新增、留存、转化率等等）。
2024-05-01 04:36:35
531
原创 大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题
这里获取](https://bbs.csdn.net/topics/618545628)**
2024-05-01 04:35:33
642
原创 大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题(1)
这里获取](https://bbs.csdn.net/topics/618545628)**
2024-05-01 04:35:02
289
原创 【云原生 29】Docker运行大数据经典分布式平台Hadoop_docker运行hadoop(3)
作者简介：🏅云计算领域优质创作者🏅新星计划第三季python赛道第一名🏅🏅欢迎您的加入！
2024-04-30 09:30:31
361
原创 【云原生 29】Docker运行大数据经典分布式平台Hadoop_docker运行hadoop(2)
1）Hadoop 创始人 Doug Cutting ，为 了实 现与 Google 类似的全文搜索功能，他在 Lucene 框架基础上进行优化升级，查询引擎和索引引擎。2）2001 年年底 Lucene 成为 Apache 基金会的一个子项目。3）对于海量数据的场景， Lucene 框 架面 对与 Google 同样的困难， 存 储海量数据困难，检 索海 量速度慢。4）学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch。
2024-04-30 09:30:00
344
原创 【中秋特辑-代码解析月饼节】C++比C语言更加规范、方便
➡️用法： 想要调用的命名空间域的空间名➕➕调用的命名空间域的成员❓这里我们便可以思考一下如下代码经常出现在C++语言中的含义如上代码就代表着：❗特别注意：⭐综上：💡缺省参数：👉示例：1️⃣全缺省参数【即给函数的所有参数都给上缺省值】👆从示例中不难发现：2️⃣半缺省参数【即给函数的部分参数给上缺省值】👆从示例中不难发现：❗特别注意：⭐综上： 缺省参数是C++中新添加的语法，使调用函数时变得更加灵活了💡函数重载：👆简单来说：❗特别注意：构成函数重载，必须满足（三者满足其一即可）：👉示例：👆从
2024-04-30 09:28:26
493
原创 Hadoop集成LZO
4、进入conf，修改settings.xml文件5、配置maven环境变量6、测试maven：mvn -version。
2024-04-30 00:35:50
184
原创 hadoop快速入门
分布式计算：以分布式的形式完成数据统计，得到需要的数据。提高服务器组合来提高解决大数据的能力。分散——汇总模式：将数据分为多片，各种完成自己的任务，得出结果汇总给其他服务器。中心调度——分步执行模式：将一个节点作为中心调度管理者，将任务划分为几个具体步骤，管理者安排每个机器执行步骤，得出结果数据。mapreduce是Hadoop的分布式计算组件之一，mapreduce提供了两个编程接口,map和reducemap完成分散的功能，对数据进行分布式处理。reduce完成汇总的功能，对数据完成汇总的任务。
2024-04-30 00:34:46
525
原创 Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
【代码】Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建。
2024-04-30 00:33:04
761
原创 Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建(1)
刷新环境变量3.检验JDK：javac4.配置hosts输入代码后根据提示输入yes或者密码。
2024-04-30 00:32:33
227
原创 硬件知识：打印机十个共性故障解决方法_打印电缆过长如何解决
今天给大家分享打印机10个常见的故障以及维修方法，希望对大家能有所帮助！1. 对于针式打印机，引起打印纸空白的原因大多是由于色带油墨干涸、色带拉断、打印头损坏等，应及时更换色带或维修打印头 ( 多数是更换色带就能解决)2. 对于喷墨打印机，引起打印空白的故障大多是由于喷嘴堵塞、墨盒没有墨水等，应清洗喷头或更换墨盒，（建议先换墨盒）2.对于喷墨打印机，应重点检查喷头是否损坏、墨水管是否破裂、墨水的型号是否正常等。先调节一下打印头与打印辊间的间距，故障不能排除，可以换新色带。
2024-04-29 04:35:44
718
原创 知识分享-商业数据分析业务全流程_商务数据分析的基本流程
🤵♂️ 个人主页✍🏻作者简介：Python学习者🐋 希望大家多多支持，我们一起进步！😄如果文章对你有帮助的话，喜欢大数据分析项目的小伙伴，希望可以多多支持该系列的其他文章大数据分析案例合集") |以往做了很多期数据分析的案例项目，今天简单总结一下在如今商业领域的数据分析业务全流程步骤，希望对学习数据分析的小伙伴有所帮助。商业数据分析总体分为三个阶段、六个步骤。
2024-04-29 04:35:13
686
原创 真实大数据简历模版（四）【大数据-2年经验】电影网数据分析
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析，经过分析得到的数据给前端进行显示，从而可以为网站提供日常决策支撑，比如某些旅游景点的人气很高的话，就可以为该景点做更多的推荐介绍。4、统计玩家流失（7、14、30持续不在线），当日回流玩家、流失玩家流失前等级、游戏次数、是否付费等情况。1、统计活跃玩家：DAU、WAU、MAU、DAU/MAU，玩家等级、地区、年龄、性别维度分布；3、统计玩家留存：次日、周及月留存玩家，玩家留存条件下等级，游戏次数、是否付费等。
2024-04-29 04:34:09
716
原创 真实大数据简历模版（二）【大数据-3年经验】金融_大数据 简历(2)
在移动互联网的发展下，教育不仅仅局限于课堂之上，在慕课的发展思潮下，国内也开始了慕课的发展黄金期，与移动互联网的发展相结合，学堂在线是将各个名校的课程资源发布到网上，可以让师生进行实时地互动答疑，学生可以根据自己的所学的专业，进行线上的学习，然后进行提价作业，老师既可以在线进行解答批改，也可以离线进行批阅。5.通过构建匹配、统计、挖掘模型，把用户的学历、职业、商圈、消费能力、商品偏好、房产、车产等用户属性与标签进行合并，最终产生的用户标签数据，保存到Hbase中;
2024-04-29 04:33:05
971
原创 助力工业物联网，工业大数据之服务域：安装主题分析实现【三十】
构建小结目标：了解物料域主题的设计模型路径实施小结目标：掌握DM层的设计路径实施DM层设计运营部门主题实现构建既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取外链图片转存中…(img-LFMFK70p-1714288958746
2024-04-28 15:22:58
819
原创 助力工业物联网，工业大数据之服务域：可视化工具Grafana介绍【三十八】_grafana 集成到 wpf项目(1)
目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**：实现Grafana集成Prometheus。
2024-04-28 15:20:51
255
1
原创 助力工业物联网，工业大数据之服务域：AirFlow的架构组件【三十二】_airflow大数据组件
Task类型：http://airflow.apache.org/docs/apache-airflow/stable/concepts/operators.html常用。
2024-04-28 15:20:20
550
原创 JavaSE学习----（七）JDK类库的根类：Object_jdk库
Object这个老祖宗类中的方法我们需要研究一下，因为这些方法都是所有子类通用的，任何一个类都默认继承Object类。
2024-04-28 00:38:24
835
原创 JavaScript 1000个判断条件难道要写了1000个 if 一文教你如何实现分支优化_js if太多了(1)
问题代码中的判断都是简单的，那么我们就可以将这些判断条件作为一个属性写到对象中去，这些属性对应的值就是条件成立后的处理函数。之后我们就只需通过函数接收到的参数去获取对象中对应的值，如果该值存在就运行该值（因为值是一个函数）。这样一来原本的if分支判断就转换成了简单的key value对应值，条件与处理函数一一对应，一目了然。
2024-04-28 00:34:51
153
原创 Java8 Stream 数据流，大数据量下的性能效率怎么样？
stream 和 iterator 迭代的效率比较好了，上面 stream 的优点吹了那么多，stream 函数式的写法是很舒服，那么 steam 的效率到底怎样呢？- 在多核情景下，对于大数据量的处理，parallel stream 可以有比 iterator 更高的迭代处理效率；我分别对一个随机数列 List （数量从 10 到 10000000）进行映射、过滤、排序、规约统计、字符串转化场景下，对使用 stream 和 iterator 实现的运行效率进行了统计，测试代码 基准测试代码链接。
2024-04-28 00:34:20
940
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day26】——Spark13_涌云信息科技有限公司大数据面试题(1)
大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，很多学生已经进入暑假模式，暑假也不能懈怠，正值金九银十的秋招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。道阻且长，行则将至；行而不辍，未来可期！本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。
2024-04-27 12:02:23
568
原创 分布式系统中的那些一致性（CAP、BASE、2PC、3PC、Paxos
至于第二个疑问其实还是场景问题，如果在没有网络分区的情况下，C，A是可以同时满足的，如果出现了网络分区，C，A确实不可以同时满足，举个例子：如果来了一个写操作，如果要满足一致性，意味着这几个节点的数据要一致后，数据才能被访问，但是出现了网络分区，就会等待网络恢复或重试或者其他操作，必然满足不了可用性的要求（在。如上图，node1 在收到 node2、3 的投票请求后，由于ZXID相等，node3的myid大，所以 node1 更新自己的投票箱并添加 node3 的投票，此时为(1,3)(3,3)。
2024-04-27 10:07:08
704
原创 【JavaWeb】JDBC（3）数据库连接池_创建java wed项目出现jdbcdemo3
数据库连接池是个容器，负责分配、管理数据库连接(Connection)它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏好处资源重用提升系统响应速度避免数据库连接遗漏之前我们代码中使用连接是没有使用都创建一个Connection对象，使用完毕就会将其销毁。这样重复创建销毁的过程是特别耗费计算机的性能的及消耗时间的。
2024-04-27 06:06:20
495
原创 Spark Shuffle Tracking 原理分析
如果 executor 没有 active 的 shuffle 并且当前时间大于 executor 的超时时间 timeoutAt，则此 executor 可以被安全释放。并且启动定时任务，定时扫描每个 Executor，判断是否有任务运行，是否有 active 的 shuffle，如果没有则可以退出。如果开启了 ESS，那么 Executor 计算完后，把 shuffle 数据交给 ESS, Executor 没有任务时，可以安全退出，下游任务从 ESS 拉取 shuffle 数据。
2024-04-27 04:23:55
982
原创 Java期末大作业基础项目--在线学生选课系统_javaee期末大作业项目
VALUES (‘1’, ‘C语言程序设计’, ‘1001’, ‘周二’, ‘科401’, ‘18’, ‘必修课’, ‘1’, ‘3’);VALUES (‘3’, ‘数据结构’, ‘1001’, ‘周四’, ‘科401’, ‘18’, ‘必修课’, ‘1’, ‘2’);VALUES (‘5’, ‘英语’, ‘1002’, ‘周四’, ‘X302’, ‘18’, ‘必修课’, ‘2’, ‘2’);throw new CustomException(“旧密码不正确。
2024-04-27 02:18:04
372
原创 eclipse配置mapreduce全教程，2024年最新费时6个月成功入职阿里
点那个Add Extemal JARs,添加的目录是之前所创建的hadoop-lib目录。hadoop.dll需要另外放在C盘的Windows目录下的System32目录。右击你所创建的JAVA项目，操作如图，将相关依赖包导入项目中。2.点击蓝色的小象，就有打开此窗口，右击新建一个，如下图。1.成功加入包之后，就会出现蓝色的小象，点OPEN。1.进入你的hadoop目录进入bin目录。复制到刚刚你新建的hadoop-lib目录。在这里添加你Hadoop的目录。红线的是需要自己新建的。
2024-04-21 20:15:48
398
原创 EasyPlane小游戏，C语言初学者练习项目，2024年最新渣本逆袭大厂面经分享
对于C语言初学者来说，练习一些小项目来检验自己的学习成果还是很有必要的，今天我就为大家带来了一个简单小游戏----EasyPlane，适合初学者来学习。
2024-04-21 20:14:14
167
原创 洽谈 “会话技术” 纯干货赶紧收藏吧_回话的技术，行业寒冬
就和我们日常生活中的取钱是一样的，人相当于浏览器，服务器相当于银行，第一次访问的时候携带现金过去，以后给你一张卡，相当于服务器给浏览器一个sessionid(是唯一的)，第二次访问的的时候浏览器携带sessionid过去，相当于人第二次去银行直接携带银行卡。1、浏览器访问服务器，服务器命令浏览器在客户端硬盘中存储cookie文件，是键值对的形式，第二次浏览器访问服务器的时候会携带cookie文件，服务器读取cookie,如果里面有值代表访问过，否则是第一次访问。setcookie(‘name’,’值’)；
2024-04-18 12:19:50
393
原创 活久见：都 2203 年了，你还在使用 word 调试 API_如何通过api修改word online
这些 API 管理的困境，也让一些企业嗅到了商机，以 Eolink 为代表的公司，也在很早就开始布局，积极投入研发力量，经过大量实践探索，打造出了一款天花板级别的全生命周期管理的 api 工具！随着 API 的不断修改迭代和调试，同一 API 的文档版本会越来越多，管理起来极其费劲，文档传递 one-by-one 口口相传，项目整体开发效率可想而知！的环节完美联动，有变化能第一时间通过，自动生成 api 文档获取到，同时，自动生成的专业化 api 接口文档，格式可读性更强，内容更加丰富详实。
2024-04-18 12:19:19
252
原创 如何使用JDBC操作数据库？一文带你吃透JDBC规范，2024年最新分享复习经验和后台开发面经
首先 Java 代码将 sql 发送到 MySQL 服务端，MySQL 服务端接收到 sql 语句以后，会对 sql 语句进行检查（检查 sql 语句的语法），编译（编译 sql 语句，将 sql 语句编译成可执行的函数），执行的操作。例如，在程序的登录操作中，用户输入的用户名和密码会被发送到 Java 代码，然后用于 Java 操作数据库的sql 语句中，只有当用户输入的用户名和密码与数据库中的数据匹配时才能实现登录，但是，只要我们输入事先定义好的语句，便可以进行破解。
2024-04-18 06:58:56
744
原创 如何使用iPad通过Code App+cpolar实现公网地址远程访问vscode_ipad vscode
更为值得一提的是，强大的性能让 iPad 在越来越多的场景下，成为生产力工具，如设计、协同办公、教学领域等等。不论是编辑文件，还是进行代码编写，平板电脑都能轻松胜任，实现移动办公的全新体验。登录cpolar官网后台，点击左侧的验证，查看自己的认证token，之后将token贴在命令行里。的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。隧道创建成功之后，点击左侧的状态——在线隧道列表，将所生成的公网地址复制下来。继续回到Code App，打开远程服务器，找到新建远程服务器。
2024-04-18 06:57:16
699
原创 使用axis调用WebService，Java WebService调用工具类，2024年最新看完必懂
/ log.info(“调用 WebService 发送参数==>” + MapperUtils.mapToJson(params));// log.info(“调用 WebService 发送参数==>” + MapperUtils.mapToJson(params));// log.info(“调用 WebService 发送参数==>” + MapperUtils.mapToJson(params));* @param params 参数。* @param params 参数。
2024-04-18 01:35:46
743
原创 【前端修炼场】 — 打造趁手兵器（VSCode）_vscode 兵器
首先我们在VSCode里面打上html，然后我们直接修改前面的html为head，我们发现后面的也自动更改为head。不知给位是否记得上篇文章我们讲过的HTML框架是如何构建的？既然有了称手的兵器那就要拿出来亮一亮！学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。(img-0QKIb96U-1713356370505)]右键我们可以看到我们刚才下载的控件，点击一下会直接跳转到我们的网页。右键点击我们刚才下载的插件。
2024-04-17 20:20:48
853
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人