- 博客(190)
- 收藏
- 关注
RSS订阅原创 最全＜JDBC＞ 数据库连接池技术：你知道这些吗？(1)，如何试出一个大数据开发开发者真正的水平
ApacheDataSource 通常被称为数据源，它包含连接池和连接池管理两个部分，习惯上也经常把 DataSource 称为连接池❗数据源和数据库连接不同，数据源无需创建多个，它是产生数据库连接的工厂，因此；当数据库访问结束后，程序还是像以前一样关闭数据库连接：conn.close();但conn.close()并没有关闭数据库的物理连接，它仅仅把数据库连接释放，归还给了数据库连接池。
2024-05-16 05:36:42
710
原创 最全高架学习笔记之信息系统分类概览_管理信息系统开环结构，2024年最新阿里+头条+腾讯等大厂大数据开发笔试题目分享
ERP是由物料需求计划（Material Requirement Planning，MRP）到制造资源计划（Manufacturing Resource Planning Ⅱ，MRPⅡ）最后到ERP逐步发展而来的，MRP主要作为物料单系统来管理企业的物料需求，MRPⅡ在MRP基础上补充了库存，分销等信息，其核心是物流，主线是计划，而ERP在MRPⅡ的基础上又打通了供应链，并将财务，人力资源，销售管理等纳入管理范围内，至此，ERP的管理范围涉及企业的所有供需过程，是对供应链的全面管理。
2024-05-16 05:36:09
677
原创 最全高效读取大数据量excle2007文件的解决方案，15分钟的字节跳动视频面试
需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据。，将excle数据以reduce为间隔进行分割，分批次处理，下面是一个简单的上传并导入excle到指定表的示例。(img-Q6TbgYFu-1715808915158)]接口处理业务逻辑即可，这里我们还可以进一步对其进行封装实现数据的分段处理。实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给。方法，在原本的类中，该方法没有任何操作，在扩展类中，我们调用。
2024-05-16 05:35:36
692
原创 最全高效学 C++｜组合类的构造函数，2024年最新程序员进阶知识点
//前面已有类B的完整定义，故该语句正确。} //在给出B的具体定义之前涉及了其。//永远不能在类定义中定义自身的对象，可以定义自身的指针。//在给出类B的完整定义之前定义B的对象会造成编译错误。//因为定义类B时引用了类A，所以需要做前向声明。//前面已有类B的完整声明，故此处能够定义类B的对象。//在类A的定义内部定义A的对象会造成编译错误。//具体内容，所以会出现编译错误。
2024-05-16 05:35:02
971
原创 大数据最新微服务—RabbitMQ高级（延迟消息），2024年最新熬了整整30天
例如，订单支付超时时间为30分钟，则我们应该在用户下单后的第30分钟检查订单支付状态，如果发现未支付，应该立刻取消订单，释放库存。但问题来了：如何才能准确的实现在下单后第30分钟去检查支付状态呢？像这种在一段时间以后才执行的任务，我们称之为延迟任务，而要实现延迟任务，最简单的方案就是利用MQ的延迟消息了。
2024-05-15 20:48:40
379
原创 大数据最新强大的SQL计算利器-SPL_spl 数据库，2024年最新最新大数据开发面试合集
Java是重要的开发语言，但JDK提供的方法过于基础，虽然能实现SQL后计算，但开发效率很低。ORM是Java中用来实现SQL后计算的常见方案。但几种较流行的ORM都缺乏专业的结构化数据对象，不支持动态数据结构。虽然可以利用Java实现流程控制，但难以进行灵活的计算。这些ORM技术的计算能力还远不如SQL，提供的计算函数非常有限，用Java硬写的现象仍然非常普遍。
2024-05-15 20:48:07
353
原创 大数据最新开源 SPL 消灭数以万计的数据库中间表_开源spl(5)，2024年最新2024年阿里大数据开发岗面试必问
因为数据量大或者计算复杂，报表用户等待时间太长。所以要每天晚上跑批量任务，把数据计算好之后存入中间表。报表用户基于中间表查询就会快很多。来自于文件、NOSQL、Web service 等的外部数据，本身没有多少计算能力，需要利用数据库的计算能力，特别是要与数据库内数据进行混合计算时，传统办法只能导入数据库形成中间表。由于数据库通常采用缺乏层次的扁平结构，中间表一旦创建就可能被多个查询使用，删除就可能影响其他查询。甚至一个中间表被哪些程序使用都很难搞清楚，更不用提删除了，不是不想删，而是不敢删。
2024-05-15 20:47:35
256
原创 大数据最新开源 SPL 打破数据库计算的封闭性_spl数据库(1)，2024年最新靠着这份900多页的PDF面试整理
我们知道，数据库的数据处理能力是封闭的。所谓封闭性，这里是指要被数据库计算和处理的数据，必须事先装入数据库之内，数据在数据库内部还是外部是很明确的。数据库一般有 OLTP 和 OLAP 两个用途。对于 OLTP 业务来讲，因为要保证数据的一致性，而一致性只有在一个确定的范围内谈论才有意义，这样就自然就会带来封闭性：数据库系统将保证也只负责数据库内部的数据的一致性。不过，OLAP业务却没有数据一致性的要求。而用于OLAP业务的数据仓库也常常是用数据库来充当，这样的数据仓库也顺便继承了这个封闭性。
2024-05-15 20:47:00
453
原创 基于大数据技术和协同过滤算法的图书推荐系统的开发【附源码】(2)
随着互联网的发展，大数据技术已经成为当今社会的一个热点话题。大数据的应用不仅在商业领域受到广泛关注，也在图书推荐系统中发挥着重要作用。本文将结合大数据技术和协同过滤算法，开发一个基于用户兴趣和历史数据的图书推荐系统。该系统将收集用户的阅读记录、评价和行为数据，通过大数据处理和协同过滤算法分析用户特征，为用户推荐个性化、精准的图书信息。本文将从系统架构设计、数据采集、算法优化和系统评估等方面展开研究，以期为图书借阅服务提供更加便捷、高效的推荐系统。关键词：大数据技术；协同过滤算法；图书推荐系统；用户兴趣；
2024-05-15 09:57:33
348
原创 基于大数据技术和协同过滤算法的图书推荐系统的开发【附源码】(1)
随着互联网的发展，大数据技术已经成为当今社会的一个热点话题。大数据的应用不仅在商业领域受到广泛关注，也在图书推荐系统中发挥着重要作用。本文将结合大数据技术和协同过滤算法，开发一个基于用户兴趣和历史数据的图书推荐系统。该系统将收集用户的阅读记录、评价和行为数据，通过大数据处理和协同过滤算法分析用户特征，为用户推荐个性化、精准的图书信息。本文将从系统架构设计、数据采集、算法优化和系统评估等方面展开研究，以期为图书借阅服务提供更加便捷、高效的推荐系统。关键词：大数据技术；协同过滤算法；图书推荐系统；用户兴趣；
2024-05-15 09:56:57
300
原创 基于内存的分布式NoSQL数据库Redis(一)介绍与安装_nosql 允许数据丢失(2)
(img-5Xa1CiCv-1715738122332)]：实现Redis的Linux版单机部署。
2024-05-15 09:55:44
274
原创 【云原生 Kubernetes 系列】K8s 实战 配置 Pod 的服务质量（QoS）类_pod 网络qos(1)
这些限制同样适用于初始化容器和应用程序容器。下面是目录容器的 Pod 配置文件。容器设置了内存请求和内存限制，值都是 200 MiB。
2024-05-15 01:19:11
326
原创 【云原生 Kubernetes 系列】K8s 实战 如何给应用注入数据 II 将pod数据传递给容器_pod容器传参
thenfi;sleep 5;done;thenfi;thenfi;thenfi;
2024-05-15 01:18:35
276
原创 【云原生 Kubernetes 系列】K8s 实战 如何给应用注入数据 II 将pod数据传递给容器_pod容器传参(1)
这个配置文件中，你可以看到四个环境变量。env 字段是一个EnvVars.对象的数组。数组中第一个元素指定这个环境变量从 Container 的字段获取变量值。同样，其它环境变量也是从 Container 的字段获取它们的变量值。
2024-05-15 01:17:59
229
原创 【云原生 Kubernetes 系列】K8s 实战 使用 Kustomize 对 Kubernetes 对象进行声明式管理_configmapgenerator
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取EOFapiVersion: v1data:FOO: Barkind: ConfigMapmetadata:annotations:note: generatedlabels:type: genera
2024-05-15 01:17:23
373
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org
其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。这种情况下，也就只有本机才能联通127.0.0.1:9000了。快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！如果你已经检查了datanode以及namenode的连通性，ip都正确，但是仍然没法解决问题，那么可以接着往下看了。
2024-05-14 15:56:33
882
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org(4)
其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。这种情况下，也就只有本机才能联通127.0.0.1:9000了。如果你已经检查了datanode以及namenode的连通性，ip都正确，但是仍然没法解决问题，那么可以接着往下看了。其实根本原因还是无法连接到192.168.10.22:9000 相应ip的相应端口。其实主要问题就在标红的部分，只要将hadoop1去掉即可。、大纲路线、讲解视频，并且后续会持续更新**
2024-05-14 15:55:57
926
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org(2)
其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。这种情况下，也就只有本机才能联通127.0.0.1:9000了。如果你已经检查了datanode以及namenode的连通性，ip都正确，但是仍然没法解决问题，那么可以接着往下看了。其实根本原因还是无法连接到192.168.10.22:9000 相应ip的相应端口。其实主要问题就在标红的部分，只要将hadoop1去掉即可。、大纲路线、讲解视频，并且后续会持续更新**
2024-05-14 15:55:22
334
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org(1)
其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。这种情况下，也就只有本机才能联通127.0.0.1:9000了。其实主要问题就在标红的部分，只要将hadoop1去掉即可。、大纲路线、讲解视频，并且后续会持续更新**
2024-05-14 15:54:46
265
原创 2024年最全大话备考之数据结构综合题_大话数据结构习题，2024年最新独家发布
步骤如上，最后左子树为0，右子树为1 ，容易得A01B10C001D110E111F0000G0001120/45=8/3。
2024-05-14 07:18:29
791
原创 2024年最全大数据高可用技术之zookeeper3(3)，2024年最新大数据开发程序员必会
三、zookeeper配置zoo.cfg配置内容如下。
2024-05-14 07:17:53
660
原创 2024年最全大数据面经 字节跳动 （整理）_字节大数据开发面经，2024年最新借花献佛
然接口又比抽象类更抽象，这主要体现在它们的差别上：类可以实现无限个接口，但仅能从一个抽象（或任何其他类型）类继承，从抽象类派生的类仍可实现接口，从而得出接口是用来解决多重继承问题的。Hadoop是大数据的组件，由HDFS，MapReduce和Yarn组成，HDFS主要负责数据的存储，MapReduce是作为计算引擎，负责计算，Yarn负责资源调度。1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD。2.还了解大数据其他组件嘛？
2024-05-14 07:17:17
739
原创 2024年大数据最新hive表通过元数据新增字段(2)，2024年最新大数据开发开发基础作用
观察存储信息表的数据可以发现，存储信息表由sd_id作为主键，但对于同一表字段结构的分区来说，cd_id也是这张表这些分区在存储信息表中的共同主键。【注意，有些表，不同分区表字段的结构不一样，所以对应的cd_id也是不一样的】我们找出这张表目前有几套表字段结构。–结果cd_id = 361578。–结果cd_id = 361578。得到表分区的存储信息sd_id。sds --存储信息表。
2024-05-13 22:30:18
325
原创 2024年大数据最新Hive数据存储模型，2024年最新这些细节在大数据开发面试上要注意了
Hive 中的数据分为真实数据与元数据，一般来说Hive的存储格式是指真实数据的Hive 常用的存储格式包括以下4种：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE。存储格式。常见的txt、csv、tsv等文件都属于TEXTFILE。Hive默认存储格式为TEXTFILE,即创建表时如果不单独指定存储格式，则认为存储格式为TEXTFILE。存储格式为按行存储，内容为普通的文本格式，一般可以使用cat 命令直接查看。
2024-05-13 22:29:42
569
原创 2024年大数据最新HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql，2024年最新华为大神花费5个月打造的这份714页学习笔记系列
partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.由于建表时增加一个role的分区字段,所以总共有9个普通字段和1个分区字段,所以插入数据时select语句中需要单独加上一个分区字段。role_main string comment ‘主要定位’,
2024-05-13 22:29:06
989
原创 2024年大数据最新hive 中少量数据验证函数的方法-stack，2024年最新腾讯大数据开发面试必问
数据准备： stock表有3个字段： stock_name（股票名称）、stock_price（股票价格）、stats_date（日期）lag: 将数据按照从小到大的顺序,将首次出现的,数据字段往后置一行,并且第一条数据使用Null填充。lead:将数据按照从小到大的顺序,将首次出现的数据往后置一行,并且第一条数据使用Null进行填充。包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**B 20210622 12 其他。B 20210623 12 其他。
2024-05-13 22:28:29
429
原创 每天一道大厂SQL题【Day27】脉脉真题实战(三)连续两天活跃用户(2)
(1) 在过去一个月内,曾连续两天活跃的用户(2) 有人想了解在过去一个月中,不同人才级别用户的活跃频次差异– 什么数据可以说明该问题?请写出原因和您的思考– 数据对应的sql是什么?
2024-05-12 19:33:29
609
原创 每天一道大厂SQL题【Day27】脉脉真题实战(三)连续两天活跃用户(1)
一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。(2) 有人想了解在过去一个月中,不同人才级别用户的活跃频次差异。(2) 有人想了解在过去一个月中,不同人才级别用户的活跃频次差异。
2024-05-12 19:32:52
653
原创 每天一道大厂SQL题【Day25】脉脉真题实战(一)每日活跃用户_用户每日登陆脉脉会访问app不同的模块,现有两个表 表1记录了每日脉脉活跃用户的ui
首先，我们需要筛选出十一期间jobs模块的数据，然后按用户分组，最后计算每组中活跃时长超过100s的用户。,每个中间步骤都执行打印结果，看是否符合预期， 根据中间结果，进一步调整修饰SQL语句，再执行，直到接近结果表。首先，我们需要筛选出九月份的数据，然后按日期和用户分组，最后计算每组中活跃时长最大的模块。首先，我们需要筛选出九月份的数据，然后按日期分组，最后计算每组中不同用户的数量。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。
2024-05-12 19:32:17
234
原创 每天一道大厂SQL题【Day22】华泰证券真题实战(四)_求每日单只股票买入成交金额前十名和卖出成交金额的前十名。(20分)
fund_code varchar (6) comment ’ 基 金 产 品 代 码 ', business_flag integer comment '1 卖 出 2 买 入 ', business_balance numeric(38,10)) comment ‘交易金额’需要注意的是，在查询每日买入成交金额前10名的基金产品时，应该筛选业务类型为2（即买入）的交易记录。如果要查询每日卖出成交金额前10名的基金产品，则应该筛选业务类型为1（即卖出）的交易记录。并且后续会持续更新**
2024-05-12 19:31:40
390
原创 最新7 中方法处理 ML 中大型数据加载问题_大型数据使用的加载方法(4)，先睹为快
这可能需要使用优化技术 (如随机梯度下降) 来迭代学习的算法, 而不是要求内存中所有数据都执行矩阵操作的算法, 如某些线性和逻辑回归的实现。使用另一种格式可以使您将数据存储在更紧凑的窗体中, 借此节省内存, 如2字节的整数或4字节的浮动。**也许你可以访问一台更大的计算机, 是以你电脑的内存的数量级倍数存在的那种。我认为这是一个很好的做法, 在一般的机器学习中，这种方式可以让你快速得到抽查的算法和周转的结果。也许有一个递减反馈的自然点, 让你可以使用其作为你小样本的一个合适的大小值。
2024-05-12 11:01:49
271
原创 最新5万成员丨CSDN 大数据领域网红社区！(1)，大数据开发开发不得不会
但这还远远不够，一些最新的资料，小众的jar包，往往全网难求，为此，我希望社区能解决这个问题。（目前段位无法和积分挂钩，即无法自动升级，正在和csdn王总沟通，后续可支持！目前，社区已经邀请了30多位超过万粉的博主，甚至10万粉的博客大佬，他们都在各个领域有很深的知识积累，你的问题可能不是问题。在社区发布的文章，有机会被社区管理者「加精」「置顶」获得曝光，同时，我也正在和csdn官方协商其它流量曝光机会。含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、前端等。
2024-05-12 11:01:13
284
原创 最新50道JAVA基础算法编程题【内含分析、程序答案】【建议收藏】，2024年最新年薪超过80万
System.out.println(“经过第”+n+“次反弹后，小球共经过”+length+“米，”+“第”+n+“次反弹高度为”+h+“米”);System.out.println(“今天是”+year+“年的第”+analysis(year,month,date)+“天”);System.out.println(“截取的4~7位数字：”+ch[n-7]+ch[n-6]+ch[n-5]+ch[n-4]);return “a的对手是”+a+" “+“b的对手是”+b+” "+“c的对手是”+c;
2024-05-12 11:00:37
407
原创 最新5-6年面试（上海清美1）(1)，2024年最新2024年大数据开发开发陷入饱和,
在一个事务内，无论其他事务如何修改数据，该事务看到的数据始终是一致的，即多次读取同一数据的结果相同。防止了“脏读”，即一个事务读取到另一个未提交事务的修改。降低了“幻读”的可能性，即在一个事务内执行相同的查询操作，结果集不会因其他事务的插入或删除操作而改变。通过实现这些目标，可重复读隔离级别有效提高了数据库并发控制的性能和可靠性，特别是在高并发场景下，能够确保数据的一致性和完整性。
2024-05-12 10:59:59
290
原创 大数据最新深入解析Apache Hive：大数据的SQL接口，2024年最新从青铜到王者的路线
它提供了一种将结构化数据文件映射为数据库表的方法，使得数据可以被SQL查询和分析。Hive定义了简单的SQL查询语言，称为HiveQL，该语言允许数据开发者将SQL转化为MapReduce、Tez或Spark作业，从而在Hadoop上执行。朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**假设我们有一个存储在HDFS上的日志文件，每行记录了一个用户的访问信息，包括用户ID、访问时间和访问的URL。
2024-05-12 02:24:00
431
原创 大数据最新消息队列面试题(1)，2024年最新走进大数据开发架构
在使用消息队列过程中，应该做到消息不能多消费，也不能少消费，因此可靠性传输，从以下三个角度分析RocketMQ。以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！的顺序问题分为全局有序和局部有序。生产者发送消息的时候。
2024-05-12 02:23:24
806
原创 大数据最新洽谈 “会话技术” 纯干货赶紧收藏吧_回话的技术(5)，对大数据开发开发的现状和未来发展的思考
http是无状态的，每个客户端去访问服务器的的时候，服务器不会记住每个客户端的信息，如果你第一次访问添加一件商品，然后关闭浏览器，再次访问的时候，所以服务器没有记住客户端的信息，购物车还是空的，这是不合理，所以需要通过下面两个技术来实现保存数据信息的功能。（会话技术）
2024-05-12 02:22:48
590
原创 大数据最新每天一道大厂SQL题【Day31】腾讯QQ(二)按类别统计QQ号相关信息，血与泪的总结
b） 写一段SQL,找出每个省份里消息量排名第一的QQ号码。
2024-05-12 02:22:11
874
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人