- 博客(253)
- 收藏
- 关注
RSS订阅原创 每天一道大厂SQL题【Day30】腾讯QQ(一)创建表，并插入数据_编写一段sql,创建一个qq用户表(3)
的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。
2024-05-16 10:44:32
434
原创 每天一道大厂SQL题【Day30】腾讯QQ(一)创建表，并插入数据_编写一段sql,创建一个qq用户表(1)
4、数据量要小，工具要快，如果用hive，就设置set hive.exec.mode.local.auto=true;的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！,每个中间步骤都执行打印结果，看是否符合预期， 根据中间结果，进一步调整修饰SQL语句，再执行，直到接近结果表。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。
2024-05-16 10:43:26
397
原创 每天一道大厂SQL题【Day25】脉脉真题实战(一)每日活跃用户_用户每日登陆脉脉会访问app不同的模块,现有两个表 表1记录了每日脉脉活跃用户的ui
首先，我们需要筛选出十一期间jobs模块的数据，然后按用户分组，最后计算每组中活跃时长超过100s的用户。我们可以使用SQL语句来查询每日活跃用户当日活跃时长最大的模块。首先，我们需要筛选出九月份的数据，然后按日期和用户分组，最后计算每组中活跃时长最大的模块。首先，我们需要筛选出九月份的数据，然后按日期分组，最后计算每组中不同用户的数量。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。values (1, ‘中级人才’, ‘北京’, 4),提高SQL功底的思路。
2024-05-16 10:42:53
451
原创 每天一道大厂SQL题【Day25】脉脉真题实战(一)每日活跃用户_用户每日登陆脉脉会访问app不同的模块,现有两个表 表1记录了每日脉脉活跃用户的ui(2)
表1 dau 记录了每日脉脉活跃用户的uid和不同模块的活跃时长– 表2 users 脉脉所有用户得一些注册属性values (1, ‘中级人才’, ‘北京’, 4),(2, ‘高级人才’, ‘上海’, 7),(3, ‘初级人才’, ‘北京’, 1),(4, ‘普通人才’, ‘平顶山’, 2);
2024-05-16 10:42:17
319
原创 最全【Redis高手修炼之路】①Redis是什么_萨尔瓦多·桑菲利波普(1)，15分钟的字节跳动视频面试
Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。纲路线、讲解视频，并且后续会持续更新**
2024-05-16 02:56:34
780
原创 最全【Redis高手修炼之路】Jedis——Jedis的基本使用(1)，2024年最新面试总结+解答分享
Redis不仅可以使用命令来操作，现在基本上主流的语言都有API支持，比如Java、C#、C++、PHP、Node.js、Go等。在官方网站里列一些Java的客户端，有Jedis、Redisson、Jredis、JDBC-Redis等其中官方推荐使用Jedis和Redisson。
2024-05-16 02:56:00
1017
原创 最全【Redis五大数据类型的应用场景】(1)，2024年最新程序员进阶知识点
因为string类型是二进制安全的，可以用来存放图片，视频等内容，另外由于Redis的高性能读写功能，而string类型的value也可以是数字，可以用作计数器（INCR,DECR），比如分布式环境中统计系统的在线人数，秒杀等。另外就是利用交集、并集、差集等操作，可以计算共同喜好，全部的喜好，自己独有的喜好等功能。微博消息和微信公众号文章，我关注了MacTalk和备胎说车，MacTalk先发了一篇文章，文章id为10018，备胎说车后发了一篇文章，文章id为10086。
2024-05-16 02:55:28
734
原创 最全【Python】高级变量通关教程上篇（列表、元组(3)，大数据总结来了
mylist = [“黄小黄”, “祢豆子”, “漩涡鸣人”, “草帽路飞”, “黄小黄”]student_list = [“黄小黄”, “马小淼”, “大头”, “小牛马”]my_tuple = (“黄小黄”, “马小淼”, “草帽路飞”, “黄小黄”)mylist = [“黄小黄”, “祢豆子”, “漩涡鸣人”, “草帽路飞”]temp_tuple = (“黄小黄”, “马小淼”, “草帽路飞”)tuple = (“黄小黄”, “路飞”, “娜美”)nezuko = {“name”: “祢豆子”,
2024-05-16 02:54:55
690
原创 大数据最新mysql千万级大数据SQL查询优化(1)，2024年最新字节跳动面试必问
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=0。11.在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。
2024-05-15 18:08:21
258
原创 大数据最新Mycat水平拆分的十种分片规则_mycat水平分片，我是如何拿到腾讯头条美团小米的offer从小厂跳到大厂的
上面columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称，type默认值为0，0表示Integer，非零表示String，所有的节点配置都是从0开始，及0代表节点1。上面columns 标识将要分片的表字段，algorithm 分片函数，配置中配置了开始日期，分区天数，即默认从开始日期算起，分隔10天一个分区，还有一切特性请看源码。所有的节点配置都是从0开始，及0代表节点1，此配置非常简单，即预先制定可能的id范围到某个分片。
2024-05-15 18:07:48
255
原创 大数据最新Mybatis插入大量数据效率对比：foreach、SqlSession批量、sql，使用指南
System.out.println(“sql 插入耗时：”+(System.currentTimeMillis()-start));System.out.println(“forEachInsert 插入开始========”);System.out.println(“batchInsert 插入开始========”);System.out.println(“xmlInsert 批量插入开始========”);System.out.println(“sql 插入开始========”);
2024-05-15 18:07:16
432
原创 大数据最新Mybatis快速入门，面试宝典
MyBatis的底层操作封装了JDBC的API，MyBatis的工作原理以及核心流程与JDBC的使用步骤一脉相承，MyBatis的核心对象（SqlSession，Executor）与JDBC的核心对象（Connection，Statement）相互对应。MyBatis 是一款优秀的持久层框架，用于简化 JDBC 开发。持久层是负责将数据到保存到数据库的那一层代码，框架就是一个半成品软件，是一套可重用的、通用的、软件基础代码模型，在框架的基础之上构建软件编写更加高效、规范、通用、可扩展。下载链接。
2024-05-15 18:06:43
396
原创 大数据最全基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计，我先收藏为敬
希望有一个高性能的读写，不影响业务，允许一部分的数据存在一定概率的丢失**【做缓存】**，原因：如果只有一组策略，面向不同的写的场景，会导致数据丢失。：当执行某些命令时，会自动拍摄快照【一般不用】：按照一定的时间内发生的更新的次数，拍摄快照。了95%以上大数据知识点，真正体系化！：掌握Redis的RDB持久化机制。掌握常见数据存储的设计。
2024-05-15 15:21:39
310
原创 大数据最全基于内存的分布式NoSQL数据库Redis(二)数据结构与通用命令，腾讯T3团队整理
掌握Redis的数据结构及数据类型：整个Reids中**所有数据以KV结构形式**存在K：作为唯一标识符，唯一标识一条数据，，写入时指定KV，读取时，根据K读取VV：真正存储的数据，可以有多种类型理解Redis：类似于Java中的一个Map集合，可以存储多个KV，根据K获取V数据类型。
2024-05-15 15:21:06
339
原创 大数据最全基于内存的分布式NoSQL数据库Redis(三)常用命令(2)，oppo大数据开发面试题
(img-K2SQoqHl-1715757612545)]hexists：判断这个K的V中是否包含这个属性。hlen：统计K对应的Value总的属性的个数。smembers：用于查看Set集合的所有成员。hmget：批量的获取某个K的多个属性的值。hget：用于获取某个K的某个属性的值。hmset：批量的为某个K赋予新的属性。hvals：获取所有属性的value的。zadd：用于添加元素到Zset集合中。add：用于添加元素到Zset集合中。**llen：**统计集合的长度。
2024-05-15 15:20:33
267
原创 大数据最全基于Leaflet的VideoOverlay视频图层叠加实战_leftlet overlay(2)，2024年字节跳动+京东+美团面试总结
如果之前看过Leaflet相关博客的朋友一定知道，在Leaflet中定义地图的相关语法，这里再复习一下。这里需要注意的是，这里访问的地图采用的投影方式是标准的WGS84坐标系，因此无需自己定义坐标系。使用Leaflet默认的配置方式即可。attribution: 'Leaflet叠加视频图层',
2024-05-15 15:20:00
224
原创 从零开始搭建flink流式计算项目-2小试牛刀-物联网场景下,如何实现设备采集参数监控报警功能
(img-xQxgVtJM-1715727620795)]* 触发报警的采集变量名称。// 仅针对部分设备监控。##### 报警事件。* 触发报警的采集值。* 获取物联采集数据。
2024-05-15 07:00:43
630
原创 从里到外，手把手一起把JVM虚拟机整体结构与对象内存分配解析摸透透的，简单易懂！_一起摸一起透
当对象刚被创建的时候会被分配在eden区，eden区满了后会触发minor gc，可能会有99%以上的对象成为垃圾被回收掉，剩余存活 的对象会被挪到为空的那块survivor区，下一次eden区满了后又会触发minor gc，把eden区和survivor区垃圾对象回收，把剩余存活的对象一次性挪动到另外一块为空的survivor区，因为新生代的对象都是生命值很短的，存活时间很短，所以JVM默认的。另外线程栈内存大小决定的线程数量的多少，当线程栈内存大小设置的越大，则同时存在的线程数量越少，反则越大。
2024-05-15 07:00:07
335
原创 从里到外，手把手一起把JVM虚拟机整体结构与对象内存分配解析摸透透的，简单易懂！_一起摸一起透(3)
当对象刚被创建的时候会被分配在eden区，eden区满了后会触发minor gc，可能会有99%以上的对象成为垃圾被回收掉，剩余存活 的对象会被挪到为空的那块survivor区，下一次eden区满了后又会触发minor gc，把eden区和survivor区垃圾对象回收，把剩余存活的对象一次性挪动到另外一块为空的survivor区，因为新生代的对象都是生命值很短的，存活时间很短，所以JVM默认的。另外线程栈内存大小决定的线程数量的多少，当线程栈内存大小设置的越大，则同时存在的线程数量越少，反则越大。
2024-05-15 06:59:31
920
原创 从里到外，手把手一起把JVM虚拟机整体结构与对象内存分配解析摸透透的，简单易懂！_一起摸一起透(2)
运行时数据区主要由堆栈程序计数器方法区本地方法栈线程栈程序计数器本地方法栈堆方法区。堆分为细分为新生代(Eden、survivor(From、To)默认比例8:1:1)、老年代对象不全都是在堆中，经过发生逃逸符合条件的对象在栈中【领取资料】JVM整体结构图如下【领取资料】既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-15 06:58:55
1011
原创 【Docker 那些事儿】容器数据卷的本手_创建了一个名为 test 的 nginx 容器,并将容器内的 app 目录挂载至宿主机的 web
我将会用两篇文章，来详细介绍容器数据卷的使用及其相关内容。
2024-05-14 22:18:47
601
原创 【Docker 那些事儿】容器数据卷的本手_创建了一个名为 test 的 nginx 容器,并将容器内的 app 目录挂载至宿主机的 web(3)
上述示例中，信息包含了上面创建的容器的详细挂载信息，指定了本机路径，指定了容器内部的路径。下面通过示例观察数据卷共享机制，会在宿主机与容器端之间多次切换，建议开启两个终端，示例代码如下：以上示例创建了一个名为的容器，并将容器内的/app目录挂载至宿主机的路径下。下面分别查看宿主机与容器的根目录下的文件，示例代码如下：从以上示例中可以看到，宿主机的根目录下新建了一个目录，而该目录下没有任何文件。
2024-05-14 22:18:11
917
原创 【Docker 那些事儿】容器数据卷的本手_创建了一个名为 test 的 nginx 容器,并将容器内的 app 目录挂载至宿主机的 web(2)
在生产环境中使用Docker容器，往往需要对数据进行持久化保存，或者多个容器需要共享数据。这时就会使用到容器数据卷，通过容器数据卷管理容器数据是一项使用容器的基本技能。我将会用两篇文章，来详细介绍容器数据卷的使用及其相关内容。
2024-05-14 22:17:35
553
原创 【Docker 那些事儿】容器数据卷的本手_创建了一个名为 test 的 nginx 容器,并将容器内的 app 目录挂载至宿主机的 web(1)
在生产环境中使用Docker容器，往往需要对数据进行持久化保存，或者多个容器需要共享数据。这时就会使用到容器数据卷，通过容器数据卷管理容器数据是一项使用容器的基本技能。我将会用两篇文章，来详细介绍容器数据卷的使用及其相关内容。
2024-05-14 22:16:59
572
原创 2024年最新项目管理（PMP）项目相关方管理_pmp相关方管理(1)，2024年最新35岁以后的大数据开发程序员出路在哪里
基于对相关方需求，利益以及对项目成功的潜在影响的分析，制定合理的管理策略，以有效的调动相关方参与整个项目生命周期的过程。主要作用是为项目相关方的互动提供清晰且可操作的计划，以指导相关方参与项目。向外：项目团队外的相关方群体以及其代表，供应商和最终用户，监管部门。C表示相关方当前参与度，D表示项目成功所需的参与度。领导：知晓项目和潜在影响，积极致力于保证项目成功。中立：知晓项目和潜在影响，既不支持，也不反对。抵制：知晓项目和潜在影响，抵制变更。支持：知晓项目和潜在影响，支持变更。
2024-05-14 12:59:19
357
原创 2024年最新面试总结------2024 04 04---项目(1)，2024年最新有了这些中高端面试专题-大厂还会远吗
/ Lua脚本返回值为1表示秒杀成功，0表示库存不足。方法：seckill。// 执行Lua脚本。
2024-05-14 12:58:43
291
原创 2024年最新面试WSY，从思维图到基础再到深入
项目介绍：在基于Hadoop大数据环境下实现的用户行为数据分析项目中，针对Spring Boot框架下的图书购物商城进行用户行为分析。在商品浏览、加入购物车、购买以及商品和用户的增删改查等功能模块下进行了埋点，以便针对用户在线购物行为进行数据挖掘和统计分析。2022.04-2022.06--------------------------------------------------------------------- “dd”书城数据分析与可视化展示。● 为商城运营提供数据支持和决策参考。
2024-05-14 12:58:07
665
原创 2024年最新面试WSY(1)，2024年最新被腾讯辞退的高级大数据开发工程师现在怎么了
项目介绍：在基于Hadoop大数据环境下实现的用户行为数据分析项目中，针对Spring Boot框架下的图书购物商城进行用户行为分析。在商品浏览、加入购物车、购买以及商品和用户的增删改查等功能模块下进行了埋点，以便针对用户在线购物行为进行数据挖掘和统计分析。2022.04-2022.06--------------------------------------------------------------------- “dd”书城数据分析与可视化展示。● 为商城运营提供数据支持和决策参考。
2024-05-14 12:57:30
936
原创 2024年最全Introduction to Data Mining 数据挖掘(2)，2024年最新大数据开发系统开发面试题
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Data Mining: On What Kinds of Data? • Database-oriented data sets and applications
2024-05-14 04:21:29
760
原创 2024年最全InceptionV3实战：tensorflow2(1)，2024年最新一线互联网架构师筑基必备技能之大数据开发篇
classnum = 12 类别数量，数据集有两个类别，所有就分为两类。batch_size = 4 batchsize，根据硬件的情况和数据集的大小设置，太小了loss浮动太大，太大了收敛不好，根据经验来，一般设置为2的次方。windows可以通过任务管理器查看显存的占用情况。Ubuntu可以使用nvidia-smi查看显存的占用。第二步 加载图片和以前做法不同的是，这里不再处理图片，而是只返回图片路径的list列表。
2024-05-14 04:20:53
1039
原创 2024年最全HTML基础笔记(3)，2024年最新华为大数据开发面试真题解析
1.HTML的全称为超文本标记语言，是一种标记语言。它包括一系列标签．通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字，图形、动画、声音、表格、链接等。2.超文本是一种组织信息的方式，它通过超级链接方法将文本中的文字、图表与其他信息媒体相关联。这些相互关联的信息媒体可能在同一文本中，也可能是其他文件，或是地理位置相距遥远的某台计算机上的文件。
2024-05-14 04:20:17
335
原创 2024年最全HTML入门零基础教程（三）_heml每一项内容都需要分段显示1(3)，大数据开发基础面试常常死在这几个问题上
系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。标签用于定义段落，它可以将整个网页分为若干个段落。
2024-05-14 04:19:40
684
原创 2024年大数据最全今日群里分享的面试题(1)，2024年最新2024最新大厂大数据开发面试真题解析
【代码】2024年大数据最全今日群里分享的面试题(1)，2024年最新2024最新大厂大数据开发面试真题解析。
2024-05-13 19:33:07
297
原创 2024年大数据最全仅需10道题轻松掌握Python文件处理 Python技能树征题，大数据开发面试题选择题
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！with open(‘text_1.txt’, ‘at’) as f:f.write(new_line_1)f.write(new_line_2)new_lin
2024-05-13 19:32:31
775
原创 2024年大数据最全什么是大数据测试？有哪些类型？应该怎么测 (2)，写给1-3年大数据开发程序员的几点建议
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取2. 数据模型规范数据模型规范是数据仓库建设的基础。在项目中，我们使用了维度建模和星型模型来设计数据模型，同时对数据模型进行了规范化设计，包括字段命名、数据类型、主键、外键、索引、分区等方面。我们遵循了一些数据建模的最
2024-05-13 19:31:55
933
原创 2024年大数据最全人工智能机器视觉、大数据与向量数据库的交融之路(4)，2024金九银十面试季
随着科技的不断进步，计算机视觉（Computer Vision, CV）作为人工智能领域的关键技术之一，在大数据和新型数据结构的支持下展现出前所未有的活力与发展潜力。本文将深入探讨计算机视觉当前的发展现状与趋势，并以大数据与向量数据库为例，分析它们如何相互作用，推动CV技术在解决实际难题中的应用以及面临的机遇与挑战。大纲路线、讲解视频，并且后续会持续更新**
2024-05-13 19:31:18
255
原创 2024年【数据库】02——关系模型是什么东东_数据库模型 连线 箭头(3)，2024年最新大数据开发面试常用算法
🍉 作者简介：半旧518，长跑型选手，立志坚持写10年博客，专注于java后端☕专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统，键值存储，Nosql系统，MapReduce，Apache Spark，流数据和图数据库等…)
2024-05-13 13:59:12
777
原创 2024年【数仓】flume软件安装及配置_flume的安装配置(1)，大数据开发高级工程师面试题
另外，请注意，Flume的Kafka Channel在某些版本中可能已经被标记为过时，推荐使用Kafka Sink。如果你使用的是较新的Flume版本，并且希望使用推荐的配置，那么应该使用Kafka Sink而不是Kafka Channel。这份配置文件定义了一个简单的Flume Agent，它使用TAILDIR source来监控某个目录下的日志文件变化，并将新增的日志内容发送到Kafka。如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。1）配置日志存储路径。
2024-05-13 13:58:36
818
原创 2024年【手把手带你学JavaSE】全方面带你了解异常(1)，干货来袭
方法之间是存在相互调用关系的, 这种调用关系我们可以用 “调用栈” 来描述. 在 JVM 中有一块内存空间称为 “虚拟机栈” 专门存储方法之间的调用关系. 当代码中出现异常的时候, 我们就可以使用 e.printStackTrace();在Java中，可以借助throw关键字，抛出一个指定的异常对象，将错误信息告知给调用者。如果异常之间具有父子关系，一定是子类异常在前catch，父类异常在后catch，否则编译报错.在操作之前就做充分的检查。在程序执行期间发生的异常，称为运行时异常，也称为非受检查异常。
2024-05-13 13:58:00
613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人