- 博客(177)
- 收藏
- 关注
RSS订阅原创 史上最全的大数据技术栈，有种冲动学习的既视感，你是否感受到了自己的不足？
作为Hive和Pig（Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询）的替代者，Presto不仅可以访问HDFS，也可以操作不同的数据源，包括：RDBMS和其他的数据源（例如：Cassandra）。Kudu的设计与众不同,它定位于应对快速变化数据的快速分析型数据仓库，希望靠系统自身能力，支撑起同时需要高吞吐率的顺序和随机读写的应用场景，提供一个介于HDFS和HBase的性能特点之间的一个系统，在随机读写和批量扫描之间找到一个平衡点，并保障稳定可预测的响应延迟。
2024-05-01 01:29:12
796
原创 史上最全MySQL架构，助你深度掌握MySQL开发管理，赢在大数据时代
连接管理模块负责监听MySQL Server的各种请求，根据不同的请求，然后转发到线程管理模块，每个客户请求都会被数据库自动分配-一个 独立的线程为其单独服务，而连接线程的主要工作就是负责MySQLServer与客户端通信，线程管理模块负责管理这些生成的线程。
2024-05-01 01:28:09
407
原创 双非本科通信专业，零基础转大数据开发，先在阿里实习，又上岸字节提前批
在字节就没有这种情况，食堂7点才开饭，白天已经被各种会议占满了，晚上吃完饭后，就是写代码的时间了，基本也没时间去运动了，不过想在公司运动也不是不行，在早上10点半之前，公司基本是没有人的，可以早点起床去运动，或者趁着中午休息的时间去。面试的节奏很快，一个下午两轮技术面，一轮HR面。一面后5分钟后吧，就开始了，这个就比较硬核了，基本照着我简历上写的东西问了个遍，java基础，计算机网络，多线程与并发，锁，数据库，jvm，hadoop，zookeeper，redis，spark，hive，mq等框架。
2024-05-01 01:26:34
347
原创 【通过Hive清洗、处理和计算原始数据，Hive清洗处理后的结果，将存入Hbase，海量数据随机查询场景从HBase查询数据 (1)
/ 数据清洗和处理（如筛选某一列、计算平均值等操作）// 通过Hive查询HBase数据。// 使用Java API查询数据。// 导入数据到HBase。// 创建Hive表。4. 清洗和处理数据。
2024-04-30 14:40:10
599
原创 【详解】手撕 一维、二维、三维差分数组原理（附图解
/ 由于前面两式把 c 减去了 2 次，故要加回 1 次。// 把 x看成常数，y从 y1 到 y2。// 把 y看成常熟，x从 x1 到 x2。// 二维区间的起点。
2024-04-30 14:39:05
36
原创 【论文导读】- SpreadGNN Serverless Multi-task Federated Learning for Graph Neural Networks（去服务器的多任务图联邦学习）
图神经网络( GNN )是图机器学习问题的首选方法，因为它们能够从图结构数据中学习最先进的表示。然而，由于用户方面的隐私问题、法规限制和商业竞争，将大量的真实世界图形数据集中用于GNN训练是令人望而却步的。联邦学习是在许多分布式边缘设备上协同训练机器学习模型的事实上的标准，而无需集中化。尽管如此，在联邦环境中训练图神经网络是模糊定义的，并带来统计和系统挑战。本文首次在文献中提出了可以在存在部分标签和没有中心服务器的情况下运行的新型多任务联邦训练框架SpreadGNN。
2024-04-30 14:38:01
413
原创 【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战
图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。
2024-04-30 14:37:30
674
原创 【C++】类和对象大总结_c+(2)
类定义了一个新的作用域，成员函数可以在类中定义，也可以只把函数声明放在类中，定义放在类外。不过将定义放在类外的方式需要在函数名前写清楚类域。class stupublic:private:void stu::print()//定义在外，需要指明该函数的类域;
2024-04-30 06:31:30
286
原创 【C C++面试必备】volatile 关键字_volatile int volatile p
使用该参数，编译器会尝试减少代码大小和执行时间，但不执行需要占用大量编译时间的优化。优化编译需要占用更多的时间，对于大型函数需要占用更大的内存。学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！可以看到，即使添加了 -O 参数优化程序， value 的值依然被改变了。那再看一下给上面的代码添加上 volatile 关键字后会怎样？最后，看一下 volatile 是怎样使用的。volatile 放置到类型前后都可以。可以看到，优化后文件变小了。
2024-04-30 06:30:27
247
原创 【C C++面试必备】volatile 关键字_volatile int volatile p(2)
并不全是，编译器有时候会从寄存器处取变量的值，而不是每次都从内存中取。因为编译器认为变量并没有变化，所以认为寄存器里的值是最新的，另外，通常来说，访问寄存器比访问内存要快很多，编译器通常为了效率，可能会读取寄存器中的变量。volatile 意思是易变的，是一种类型修饰符，在C/C++中用来阻止编译器因误认某段代码无法被代码本身所改变，而造成的过度优化。是因为添加了 -O 参数，编译器对代码进行了优化，忽略了对变量 value 值的更改。在日常的使用中很少使用到，但是，在面试中经常被提起，下面具体来看一下。
2024-04-30 06:29:56
323
原创 【C C++内功心法】剖析预处理过程，详解预处理指令
define 机制包括了一个规定，允许把参数替换到文本中，这种实现通常称为宏（macro）或定义宏（define macro）。
2024-04-30 06:28:51
594
原创 AI绘画普及课【零】前置知识
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**需要这份系统化资料的朋友，可以戳这里获取。
2024-04-29 21:23:28
309
原创 AI绘画普及课【二】文生图入门_平铺 分块 (tiling)
放轻松，其实写提示词的过程非常自由的，无论你写什么，AI都可以给你画，在StableDiffusion中，可以输入提示词的区域就是左上方这两个文本框了，之前也提到了，它被分为了上下两部分，上面是正向的提示词，下面是反向的提示词。本课程讲解的内容使用的是Stable Diffusion，但我知道有很多朋友用的是另一款非常流行的AI绘画应用MidJourney，这些框架的大逻辑框架其实是通用的，而 MidJourney 比SD要更依赖好的提示词来做出作品，在提示词的应用层面更具深度。提示词有很多不同的分类。
2024-04-29 21:22:57
607
原创 开发者，云原生数据库是未来吗？_云原生数据库没有前景 (1)
云原生（Cloud Native）是一种构建和运行应用程序的方法，是一套技术体系和方法论。Cloud为云平台，Native表示应用程序从设计即考虑到云的环境，原生应用在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。随着时代和技术的发展，不断演化，容器技术、微服务、可持续交付、DevOps，构成云原生的四个要点。云原生数据库，是一种通过云平台构建、部署和分发的数据库服务。它以 PaaS 的形式进行分发，相比于传统数据库，云原生数据库提供了更好的访问性和可伸缩性。
2024-04-29 01:26:01
324
原创 开发者，10分钟学会Tomcat ？_tomcat的localhost文件夹下的images是自己创建的吗
🧑💻作者：大二计算机学生Tomcat服务器教程🎗️注意：文中“它”，默认指 tomcat大家好，今天分享的是开源服务器Tomcat的安装与使用，以及闪退问题，乱码问题的解决，为了更好的理解知识点，最后会简单部署实践，我是小周，如果觉得文章写的不错，记得三联支持可怜的博主呀。
2024-04-29 01:25:30
329
原创 并行化-你的高并发大杀器_并行化 技术
System.out.println(“执行”+ this.getClass().getSimpleName() + “线程名字为:” + Thread.currentThread().getName());// System.out.println(“当前线程” + Thread.currentThread().getName());// 定义其他五种并行TasK。
2024-04-29 01:23:46
281
原创 常见消息队列：ActiveMQ、RabbitMQ、RocketMQ、Kafka的区别总结_activemq rabbitmq(1)
它支持多种消息传递模式，包括和。ActiveMQ具有，并提供了丰富的功能，如等。
2024-04-29 01:22:42
279
原创 【趣学算法】Day3 贪心算法——背包问题_贪心算法背包问题
思考一下，如果选价值最大的物品，但重量非常大，则可能一个也装不下，分割一部分装入，价值未必是最高的；如果选重量最小的物品装入，则其价值不一定高，所以在总重量受到限制的情况下无法保证价值最大；有n种物品，每种物品只有一个，第i种物品的重量为 wi，价值为 vi，背包的容量为 w，物品可以分割。首先将物品的重量、价值和单位重量价值定位为一种结构体类型，然后对物品按单位重量价值从大到小进行排序。因此，我们应采用第三种贪心策略——每次从剩下的物品中选单位重量价值最大的物品。（1）每次选择价值最大的物品装入背包。
2024-04-28 12:01:15
759
原创 【论文导读】- SpreadGNN Serverless Multi-task Federated Learning for Graph Neural Networks（去服务器的多任务图联邦学习）
图神经网络( GNN )是图机器学习问题的首选方法，因为它们能够从图结构数据中学习最先进的表示。然而，由于用户方面的隐私问题、法规限制和商业竞争，将大量的真实世界图形数据集中用于GNN训练是令人望而却步的。联邦学习是在许多分布式边缘设备上协同训练机器学习模型的事实上的标准，而无需集中化。尽管如此，在联邦环境中训练图神经网络是模糊定义的，并带来统计和系统挑战。本文首次在文献中提出了可以在存在部分标签和没有中心服务器的情况下运行的新型多任务联邦训练框架SpreadGNN。
2024-04-28 12:00:12
544
原创 【论文导读】- Communication-Efficient Learning of Deep Networks from Decentralized Data（高通信效率的去中心化的深度网络学习）
现代移动设备可以获取大量适合学习模型的数据，而这些数据反过来又可以极大地改善设备上的用户体验。例如，语言模型可以提高语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据往往是隐私敏感的，数量大，或者两者兼而有之，这可能妨碍使用常规方法登录数据中心和在那里进行培训。我们提倡一种替代方法，让训练数据分布在移动设备上，并通过聚集本地计算的更新来学习共享模型。我们将这种去中心化的学习方式称为联邦学习。
2024-04-28 11:59:41
598
原创 【计网OSI七层模型分层，TCP IP四层模型】 --- 史上最详细的解读(2w字)_计网层次模型
IP地址在网络中用于表示一个节点(或者网络设备的接口)IP地址用于IP报文早网络中的寻址。
2024-04-28 11:59:11
941
原创 【Java】SE练习项目 —》图书管理系统(2)
先抽象提取出不同的对象，首先想到的对象是用户和书，用户可分为管理员和普通用户，将管理员和普通用户共有的属性设置为一个父类User，管理员和普通用户继承User，可以先将父类设置为普通类，在写码过程如果合适可以修改为抽象类；系统对书进行管理，书本身就可以抽象为一个对象；对多本书进行操作管理，书架也可以抽象为一个对象；所以书和书架用两个类来实现，书架可以设计为一个数组；
2024-04-28 07:00:31
268
原创 【JavaWeb】一篇文章学会Request&；Response(1)
HTTP响应数据总共分为三部分内容，分别是响应行、响应头、响应体，对于这三部分内容的数据，respone对象都提供了哪些方法来进行设置?响应行响应头响应体对于响应体，是通过字符、字节输出流的方式往浏览器写，获取字节输出流介绍完这些方法后，后面我们会通过案例把这些方法都用一用，首先先来完成下重定向的功能开发。
2024-04-28 06:58:48
718
原创 【JavaWeb】一篇文章学会HTTP_一文学会http
学习HTTP之前，我们首先学习一下什么是请求和响应？①发生在饭馆的请求和响应②项目中的请求和响应请求数据总共分为三部分内容，分别是请求行、请求头、请求体请求行: HTTP请求中的第一行数据，请求行包含三块内容，分别是 GET[请求方式] /[请求URL路径] HTTP/1.1[HTTP协议及版本]请求方式有七种,最常用的是GET和POST请求头: 第二行开始，格式为key: value形式Host: 表示请求的主机名。
2024-04-28 06:58:18
750
原创 【JavaWeb】Tomcat的入门使用_javawebtomcat怎么使用
注意，Tomcat在解压缩的时候，解压所在的目录可以任意，但最好解压到一个不包含中文和空格的目录，因为后期在部署项目的时候，如果路径有中文或者空格可能会导致程序部署失败。注: HTTP协议默认端口号为80，如果将Tomcat端口号改为80，则将来访问Tomcat时，将不用输入端口号。注意: 启动的过程中，控制台有中文乱码，需要修改conf/logging.prooperties。结尾的，是Windows系统的可执行文件，一种是以。结尾的，是Linux系统的可执行文件。到此，Tomcat的安装就已经完成。
2024-04-28 06:57:47
567
原创 700行无用 纯 CSS 祝考生 金榜高粽《1_bit 的无用 CSS 代码 》_css 无用代码(2)
如果你想做一些效果还可以沿着垂直方向变换一下，都可以。
2024-04-27 21:25:50
394
原创 618快到了送上自制前端小项目（html css js）_编写html、css和js代码,为某购物平台设计并实现一个618活动大促页,要求包含但不限
在页面中放置26个div，每个div中写一个字母。html结构中引入8个音频结构。给每个div绑定点击键盘事件。根据键盘的每个keyCode的不同来动态绑定对应的音频文件。当按下对应的键盘字母，增添css样式，音频播放。放开时，存储点击的事件，将对应的音频存储在一个数组中。点击按钮，循环播放存储的音频数组
2024-04-27 21:24:47
209
原创 618快到了送上自制前端小项目（html css js）_编写html、css和js代码,为某购物平台设计并实现一个618活动大促页,要求包含但不限(3)
left:40px;width:50%;float:left;left:30px;left:60px;left:100px;top:30px;left:20px;width:30%;float:left;
2024-04-27 21:24:16
914
原创 618快到了送上自制前端小项目（html css js）_编写html、css和js代码,为某购物平台设计并实现一个618活动大促页,要求包含但不限(2)
{margin:0;padding:0;float:left;left:40px;width:50%;float:left;left:30px;left:60px;left:100px;top:30px;left:20px;
2024-04-27 21:23:46
907
2
原创 数据安全 大数据时代，如何有效预防数据泄露？_具备数据防泄监测预警措施
也是云计算中值得关注的风险。这个过程需要经验丰富的网络安全分析师，利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现，制定关于潜在威胁的假设。需要特别注意的是，未经授权的数据传输的风险，因为一旦发生数据泄露且是在可复制大量潜在敏感资产的大数据管道中，就给了犯罪分子可乘之机。在复杂的大数据生态系统中，加密的安全性需要一种集中的密钥管理方法，以确保对加密密钥进行有效的策略驱动处理。在大数据管道中，数据接收来源很多，且有恒定流量，其中包括来自社交媒体平台的数据和来自用户端点的数据。
2024-04-27 14:41:51
701
原创 数据可视化 Tableau从入门到高手 入门&；联接关系&；数据预处理_tebleau 中的根关系连接
数据文化是重视、践行和鼓励以数据为基础的高质量决策的人员共同的行为和信念。它让数据融入到组织的运营模式、思维方式和本质特征之中。形成数据文化后，您组织中的每个人都能获得自己所需的洞见，真正做到以数据驱动，让您最为复杂的业务难题也能迎刃而解。
2024-04-27 14:40:49
810
原创 数据仓库面试题集锦（附答案和数仓知识体系）(2)
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。1）数据仓库是用于支持决策、面向分析型数据处理；2）对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改2、数据仓库和数据库的区别？从目标、用途、设计来说1）数据库是面向事务处理的，数据是由日常的业务产生的，并且是频繁更新的；数据仓库是面向主题的，数据来源多样化，经过一定的规则转换得到的，用于分析和决策2）数据库一般用来存储当前事务性数据，如交易数据；
2024-04-27 14:39:47
606
原创 数据仓库维度说明
类似这样的关系，如公司组织结构，分公司是总公司的一部分，部门是分公司的一部分，当然如果定义得好的话员工是部门的一部分；当维表中的主键在事实表中没有与外键关联时，这样的维称为退化维，退化维的定义是Ralph Kimball提出来的。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维，并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题，有时也简称为处理SCD的问题。分类维是通过对一个维的属性值分组而创建的。
2024-04-27 14:38:44
689
原创 【C语言】规范掌握C语言函数 数组名的妙用 指针快速入门 综合使用小案例_c语言函数名 数组名字指针
int a = 6;int a = 6;int \*p;p = &a;两种定义方式的效果完全一致，指针p指向的是变量a的地址，*p代表的就是变量a的值。此时无论是更改a或者*p的值，二者的输出结果都会保持一致。图解：假如变量a占用了内存中0X01的内存单元，此时p也是指向此内存单元，当修改a的值时，p的指向并不发生改变，因此*p的值会随着a的改变而改变，反之也一样。
2024-04-27 05:33:28
810
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人