程序员
文章平均质量分 88
普通网友
这个作者很懒,什么都没留下…
展开
-
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb(2)
核心的主题事实的构建:SQL实现 + 主题的指标。整体目标:构建数仓中的DWB:主题事务事实表。行政地区维度中有哪些核心字段?项目中有哪些核心维度?项目中有哪些主题域?原创 2024-05-15 08:09:57 · 466 阅读 · 0 评论 -
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb(1)
集中问题。原创 2024-05-15 08:09:21 · 471 阅读 · 0 评论 -
助力工业物联网,工业大数据之工单事实指标需求分析【二十】_工单dtl
小结。原创 2024-05-15 08:08:45 · 712 阅读 · 0 评论 -
助力工业物联网,工业大数据之工业大数据之油站维度设计【十四】(3)
这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**ciss_base_areas:行政地区信息表。:掌握油站维度的需求与设计。原创 2024-05-15 08:08:08 · 982 阅读 · 0 评论 -
【JAVA数据结构】JAVA数据结构必备知识:泛型与包装类_java中泛型封装(2)
Object 引用可以指向任意类型的对象,但有例外出现了,8 种基本数据类型不是对象,那岂不是刚才的泛型机制要失效了?实际上也确实如此,为了解决这个问题,java 引入了一类特殊的类,即这 8 种基本数据类型的。此处我们只对泛型做一个了解,在后续更新中我们会对泛型进行深入学习。,在使用过程中,会将类似 int 这样的值包装到一个对象中去。● 泛型代码在运行期间,就是我们上面提到的,利用。类型呢,显然是不能的,我们这样的顺序表一旦写成就。类,然后我们将其转为我们自定义的。达到的效果(我们以前说过的。原创 2024-05-14 23:28:26 · 677 阅读 · 0 评论 -
【JAVA数据结构】JAVA数据结构必备知识:泛型与包装类_java中泛型封装(1)
由此,我们便诞生了泛型:分为泛型方法和泛型类。原创 2024-05-14 23:27:50 · 770 阅读 · 0 评论 -
【Java实战】工作中规范使用Java集合_泛型通配符<; extends t>;来接收返回的数据,此写法的泛型集合不能使用 add 方法
*说明:**毕竟泛型是在 JDK5 后才出现,考虑到向前兼容,编译器是允许非泛型集合与泛型集合互相赋值。// 此处抛出 ClassCastException 异常。原创 2024-05-14 23:27:14 · 581 阅读 · 0 评论 -
【Java实战】工作中规范使用Java集合_泛型通配符<; extends t>;来接收返回的数据,此写法的泛型集合不能使用 add 方法(1)
*说明:**毕竟泛型是在 JDK5 后才出现,考虑到向前兼容,编译器是允许非泛型集合与泛型集合互相赋值。// 此处抛出 ClassCastException 异常。原创 2024-05-14 23:26:35 · 784 阅读 · 0 评论 -
700行无用 纯 CSS 祝考生 金榜高粽《1_bit 的无用 CSS 代码 》_css 无用代码(1)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取.y-circle1 {height: 60px;width: 60px;bottom: 180px;left: 880px}.y-circle2 {height: 30px;width: 30px;b原创 2024-05-14 14:08:51 · 1004 阅读 · 0 评论 -
618快到了送上自制前端小项目(html css js)_编写html、css和js代码,为某购物平台设计并实现一个618活动大促页,要求包含但不限
{margin:0;padding:0;float:left;left:40px;width:50%;float:left;left:30px;left:60px;left:100px;top:30px;left:20px;原创 2024-05-14 14:08:14 · 782 阅读 · 0 评论 -
50行Python代码教你爬取猫眼电影TOP100榜所有信息_猫眼电影大数据推荐python代码
【代码】50行Python代码教你爬取猫眼电影TOP100榜所有信息_猫眼电影大数据推荐python代码。原创 2024-05-14 14:07:38 · 567 阅读 · 0 评论 -
50行Python代码教你爬取猫眼电影TOP100榜所有信息_猫眼电影大数据推荐python代码(5)
为了提高速度,我们引入Pool模块,用多线程并发抓取。原创 2024-05-14 14:07:01 · 331 阅读 · 0 评论 -
2024年最全【Flume】(五)Flume 企业开发实战(1),值得推荐
将写好的代码打包,并放到 flume 的 lib 目录(/opt/module/flume)下。(img-Kt60UwNx-1715635824126)](img-P44aLuyY-1715635824126)]//读取 Channel 中的事件,直到读取到事件结束循环。//定义配置文件将来要读取的字段。//将事件写入 channel。//读取配置文件内容,有默认值。//读取配置文件内容,无默认值。//创建 Logger 对象。//声明返回值状态信息。//遇到异常,事务回滚。//给事件设置头信息。原创 2024-05-14 05:30:46 · 712 阅读 · 0 评论 -
2024年最全【Flink】(十)Flink Table API 和 Flink SQL 入门_flinktable,2024年最新大数据开发面试题高级
Table API 是流处理和批处理通用的关系型 API,Table API 可以基于流输入或者批输入来运行而不需要进行任何修改。Table API 是 SQL 语言的超集并专门为 Apache Flink 设计的,Table API 是 Scala 和 Java 语言集成式的 API。与常规 SQL 语言中将查询指定为字符串不同,Table API 查询是以 Java 或 Scala 中的语言嵌入样式来定义的,具有 IDE 支持如:自动完成和语法检测。原创 2024-05-14 05:30:10 · 394 阅读 · 0 评论 -
2024年最全【Flink】(十一)Flink CEP 入门_flink cep模式 快速入门,2024年最新最新高频大数据开发笔试题分享
之后,我们可以在此条件基础上,通过 next 或者 followedBy 方法切换到下一个state,next 的意思是说上一步符合条件的元素之后紧挨着的元素;它接受一个 Map 对,包含 string/event,其中 key 为 state 的名字,event 则为真实的 Event。一旦获得 PatternStream,我们就可以通过 select 或 flatSelect,从一个 Map 序列找到我们需要的警告信息。这个时间可以是 Processing Time,也可以是 Event Time。原创 2024-05-14 05:29:34 · 716 阅读 · 0 评论 -
2024年最全【Flink】(十一)Flink CEP 入门_flink cep模式 快速入门(3),2024年最新爆火的大数据开发面试题
之后,我们可以在此条件基础上,通过 next 或者 followedBy 方法切换到下一个state,next 的意思是说上一步符合条件的元素之后紧挨着的元素;它接受一个 Map 对,包含 string/event,其中 key 为 state 的名字,event 则为真实的 Event。唯一的区别就是 flatSelect 方法可以返回多条记录,它通过一个 Collector[OUT]类型的参数来将要输出的数据传递到下游。这个时间可以是 Processing Time,也可以是 Event Time。原创 2024-05-14 05:28:58 · 879 阅读 · 0 评论 -
2024年大数据最全手撕前端面试题【javascript~模板字符串、类继承、参数解析器,2024年最新2024春招面试
除此之外,还有很多方法,例如 正则提取数据把参数从url中拆解出来,构造一个空对象去承接。原创 2024-05-13 20:42:21 · 978 阅读 · 0 评论 -
2024年大数据最全手撕前端面试题【javascript~文件扩展名、分隔符、单向绑定,2024年最新2024年大数据开发高级面试题
看完上面的例子你可能还是晕晕的,那么来详细的看看什么是深拷贝,什么是浅拷贝吧。js中的基础类型:string,number,boolean,null,undefined,symboljs中的引用类型:Object基础类型:是按照值 存放在栈中,占用的内存空间的大小是确定的,并由系统自动分配和自动释放。引用类型: 是按照地址 存在堆中,将存放在栈内存中的地址赋值给接收的变量。当我们想要访问引用类型的值的时候,需要先从栈中获得对象的地址指针,然后,在通过地址指针找到堆中的所需要的数据。原创 2024-05-13 20:41:45 · 528 阅读 · 0 评论 -
2024年大数据最全快速排序图解(两种思想)_如何找出数组的分区点(1),重磅分享
快速排序又是一种分而治之思想在排序算法上的典型应用。本质上来看,快速排序应该算是在冒泡排序基础上的递归分治法。原创 2024-05-13 20:41:09 · 862 阅读 · 0 评论 -
2024年大数据最全微服务技术栈之rabbitMQ高级(二)(1),2024年最新最新高频大数据开发面试题目分享
当消息投递到MQ,但是路由失败时,通过返回异常信息,同时返回ack的确认信息,代表投递成功临时消息投递到了MQ,并且入队成功,返回ACK,告知投递成功持久消息投递到了MQ,并且入队完成持久化,返回ACK ,告知投递成功其它情况都会返回NACK,告知投递失败其中ack和nack属于机制,ack是投递成功;nack是投递失败。而return则属于机制。默认两种机制都是关闭状态,需要通过配置文件来开启。原创 2024-05-13 20:40:33 · 608 阅读 · 0 评论 -
2024年大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day18】—,2024年最新阿里架构师深入讲解大数据开发开发
1)粗粒度:启动时就分配好资源, 程序启动,后续具体使用就使用分配好的资源,不需要再分配资源;优点:作业特别多时,资源复用率高,适合粗粒度;缺点:容易资源浪费,假如一个job有1000个task,完成了999个,还有一个没完成,那么使用粗粒度,999个资源就会闲置在那里,资源浪费。2)细粒度分配:用资源的时候分配,用完了就立即回收资源,启动会麻烦一点,启动一次分配一次,会比较麻烦。原创 2024-05-13 15:08:29 · 918 阅读 · 0 评论 -
2024年大数据应用——HDFS常用命令_hdfs cat命令(1),面试总结
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取查看数据搜索文件查看文件夹的大小信息统计目录下文件夹数量 文件数量 目录下文件总字节数。wc命令wc命令统计指定文件中的行数、字数、字节数,并将统计结果显示输出命令参数:文件操作原创 2024-05-13 15:07:53 · 347 阅读 · 0 评论 -
2024年大数据平台架构浅析——以讯飞大数据平台Odeon为例(3),2024最新大数据开发面试真题解析
Phoenix是 HBase 的开源 SQL 中间层,它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在Phoenix之前,如果你要访问 HBase,只能调用它的 Java API,但相比于使用一行 SQL 就能实现数据查询,HBase 的 API 还是过于复杂。Phoenix的理念是,即你可以。同时这也意味着你可以通过集成或Mybatis等常用的持久层框架来操作 HBase。其次Phoenix的性能表现也非常优异,Phoenix。原创 2024-05-13 15:07:17 · 998 阅读 · 0 评论 -
2024年大数据工程师面试_大数据算法工程师面试,2024年最新写得太好了
熟练使用相关的组件,针对各个组件在应用中的不同环节进行调优,能够充分发挥大数据的价值,不同组件有变化,java scala是常见的开发语言 hbase mapreduce storm。技术面(基本功、技术深度),业务项目面(通过不同项目考核技术的广度,以及实践能力),综合能力面(执行能力,沟通能力,协调能力)、HR面(求职意愿、稳定性,抗压性)是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!原创 2024-05-13 15:06:40 · 272 阅读 · 0 评论 -
最新开局掉马,逃荒前我还在学Spark(2),万字解析
MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并行运行在一个Hadoop集群上。Spark于2000年诞生于美国加州大学伯克利分校的AMP实验室,它是一个可应用于大规模数据处理的统一分析引擎。它是基于内存计算的大数据并行计算框架。Spark 是一个专门用来对那些分布式存储的大数据进行处理的工具,没有提供文件管理系统,自身不会进行数据的存储。原创 2024-05-12 17:45:40 · 1022 阅读 · 0 评论 -
最新开发者,云原生数据库是未来吗?_云原生数据库没有前景 (2),2024最新阿里大数据开发高级面试题总结
云原生(Cloud Native)是一种构建和运行应用程序的方法,是一套技术体系和方法论。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**需要这份系统化资料的朋友,可以戳这里获取。原创 2024-05-12 17:45:04 · 394 阅读 · 0 评论 -
最新带你初识微服务_微服务耦合性还是很高(2),大数据开发插件化、模块化、组件化、热修复、增量更新、Gradle
在开头,风哥为了提起大家的学习兴趣,先在文章开头对单体架构和分布式架构做一下对比,小伙伴们,一起来跟风哥看一下吧。 然而在开头,我先抛出来几个疑问,能来看这篇文章的小伙伴,相信已经做了一个或多个类似学生管理系统的小型项目,这种项目有一个大体上的特点就是模块单一,架构简单,部署起来十分方便,但是呢,这也往往存在一个问题,什么问题呢?大家想一下,Java的一个宗旨是什么?高内聚,低耦合。而这样的单一架构的系统,耦合程度还是比较高的。 为什么这么说呢?原创 2024-05-12 17:44:29 · 880 阅读 · 0 评论 -
最新带你从零学大数据系列之Java篇---第十六章 集合基础(3),2024年最新【绝对干货】
在使用增强for循环进行元素的遍历过程中, 不要修改集合中的内容!否则, 会出现 ConcurrentModificationException。在使用迭代器进行元素的遍历过程中, 不要修改集合中的内容!否则, 会出现 ConcurrentModificationException。Java8之后,在Collection集合中添加了一个新的方法 forEach。伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!迭代器(Iterator),才是真正用来遍历集合的。原创 2024-05-12 17:43:51 · 236 阅读 · 0 评论 -
最全基于大数据的房价分析--2,三年经验月薪50k我是怎么做到的
print(“地址解析错误,status:”+str(jsonResult[‘status’])+“,msg:”+jsonResult[‘msg’]+“,errorUrl:”+urlResult)print(“存储数据异常,检查该条数据sumprice:”+data[‘sumPrice’]+data[‘address’])print(“没有错误信息,直接输出信息”+str(jsonResult))print(“同一地址不再解析”+data[‘address’])#数据集中没有带解析的数据,解析该条数据。原创 2024-05-12 09:13:48 · 453 阅读 · 0 评论 -
最全基于协同过滤算法的推荐_基于项目的协同过滤算法(2),剖析大数据开发开发未来的出路在哪里
很多针对于购物行为推荐的关键点都没有处理,比如说时间序列,购物行为一定要注意对于时效性的分析,跨度达到几个月的推荐不会有好的效果。首先输入的数据源是7月份之前的购物行为数据,通过SQL脚本取出用户的购买行为数据,进入协同过滤组件,这么做的目的是简化流程,因为购买行为对这次实验分析是最有价值的。上述步骤介绍了如何生成强关联商品的对应列表,这里使用了比较简单的推荐规则,比如用户甲某在7月份之前买了商品A,商品A与B强相关,我们就在7月份之后推荐了商品B,并探查这次推荐是否命中。原创 2024-05-12 09:13:12 · 612 阅读 · 0 评论 -
最全基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计,我的腾讯大数据开发面试经历分享
希望有一个高性能的读写,不影响业务,允许一部分的数据存在一定概率的丢失**【做缓存】**,原因:如果只有一组策略,面向不同的写的场景,会导致数据丢失。:当执行某些命令时,会自动拍摄快照【一般不用】:按照一定的时间内发生的更新的次数,拍摄快照。如果重启,直接加载二进制文件恢复到内存。什么是RDB机制,优缺点分别是什么?:掌握Redis的RDB持久化机制。掌握常见数据存储的设计。原创 2024-05-12 09:12:36 · 827 阅读 · 0 评论 -
最全基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计(1),劲爆
什么是RDB机制,优缺点分别是什么?如果重启,直接加载二进制文件恢复到内存。原创 2024-05-12 09:12:00 · 263 阅读 · 0 评论 -
大数据最新云数据库认识,2024年最新真的已经讲烂了
UMP 系统是低成本和高性能的 MySQL 云数据库方案。开发者通过网络从平台上申请 MySQL 实例资源,利用平台提供的单一入口来访问数据。UMP 系统把各种服务器资源划分为资源池,并以资源池为单位把资源分配给 MySQL 实例。系统中包含了一系列组件,这些组件协同工作,以对用户透明的形式提供主从热备、数据备份、迁移、容灾等一系列服务。系统内部将用户划分为 3 种类型:数据量和流量比较小的用户、中等规模用户,以及需要分库分表的用户。原创 2024-05-12 00:36:28 · 616 阅读 · 0 评论 -
大数据最新云数据库认识(1),熬夜整理最新大厂大数据开发高频面试题
云数据库厂商主要分为三类。① 传统的数据库厂商,如 Oracle、IBM DB2 和 Microsoft SQL Server② 涉足数据库市场的云数据库厂商,如 Amazon、Google、阿里、百度、腾讯③ 新兴厂商,如 Vertica、LongJump 和 EnterpriseDBUMP 系统是低成本和高性能的 MySQL 云数据库方案。开发者通过网络从平台上申请 MySQL 实例资源,利用平台提供的单一入口来访问数据。原创 2024-05-12 00:35:52 · 589 阅读 · 0 评论 -
大数据最新三分钟,我让搞后端的学弟爱上了Eolink_eolink 生成代码,2024年最新【面试必备】
Eolink支持 HTTP(S)、Websocket、TCP、UDP 等主流协议,通过代码注解自动生成 API 文档,或者从 API 文档反向生成所有常见开发语言和框架的代码,节省 API 设计和开发时间。强大的 API 版本和变更管理让你不放过 API 的任何变动。支持所有主流协议:代码自动生成、API 文档、API 文档自动生成代码、API 版本管理、API 变更通知。原创 2024-05-12 00:35:16 · 954 阅读 · 0 评论 -
大数据最新一线架构师,ElasticSearch-2,2024年最新最新大厂大数据开发社招面试经验汇总
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!discovery.zen.ping.unicast.hosts: [“es-01”, “es-02”]node.namenetwork.hosthttp.po原创 2024-05-12 00:34:39 · 886 阅读 · 0 评论 -
大数据实验 实验四:NoSQL 和关系数据库的操作比较_实验四nosql和关系数据库的操作比较实验报告(1)
(2)获取 scofield 的 English 成绩信息。原创 2024-05-11 15:56:33 · 932 阅读 · 0 评论 -
大数据实验 实验六:Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件";h
20170103 x20170104 z20170105 y根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下:20170101 x20170101 y20170102 y20170103 x20170104 y20170104 z20170105 y20170105 z20170106 z编写文件A B配置编译选项编译代码。原创 2024-05-11 15:55:57 · 618 阅读 · 1 评论 -
大数据实验 实验六:Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件";h(4)
运行成功。原创 2024-05-11 15:55:21 · 689 阅读 · 0 评论 -
大数据实验 实验六:Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件";h(3)
使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “hdfstest” /software/hdfstest/target/scala-2.12/a-simple-hdfs-test_2.12-1.0.jar >& 1 |grep The 运行jar包。对于两个输入文件 A 和 B,编写 Spark 独立应用程序(推荐使用 Scala 语言),对两个文件进行合并,并剔除其中重复的内容,得到一个新文件 C。(小新,88.33)原创 2024-05-11 15:54:45 · 670 阅读 · 0 评论