- 博客(346)
- 收藏
- 关注
原创 网上分享文件如何科学校验?请看cksum或者shasum_cksum校验码多少位
cksum 文件名第一个数字:2283207869 //为校验码第二个数字: 844948304 // 为文件字节数然后我让小白在本机跑一边cksum,发结果给我,一看他那边的校验数字居然是 33303330333 ,这个数字,稍微思考一下就很离谱!很明显Unity包传输出错了。这次我直接拷贝U盘给他了,并且进入U盘对应目录进行cksum了,万无一失!好了,小白可以先走了。亲爱的读者我们继续学习一下cksum吧,很多使用的。
2024-05-16 12:15:33
583
原创 网上分享文件如何科学校验?请看cksum或者shasum_cksum校验码多少位(1)
cksum 文件名第一个数字:2283207869 //为校验码第二个数字: 844948304 // 为文件字节数然后我让小白在本机跑一边cksum,发结果给我,一看他那边的校验数字居然是 33303330333 ,这个数字,稍微思考一下就很离谱!很明显Unity包传输出错了。这次我直接拷贝U盘给他了,并且进入U盘对应目录进行cksum了,万无一失!好了,小白可以先走了。亲爱的读者我们继续学习一下cksum吧,很多使用的。
2024-05-16 12:15:00
383
原创 终于有人把云计算、大数据和 AI 讲明白了【深度好文】_ai替代云计算
信息是很多的,但有人看到了信息相当于白看,但有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了。例如上面的例子,输入一个写着2的图片,输出的列表里面第二个数字最大,其实从机器来讲,它既不知道输入的这个图片写的是2,也不知道输出的这一系列数字的意义,没关系,人知道意义就可以了。现在公有云上基本都会有大数据的解决方案了,一个小公司需要大数据平台的时候,不需要采购一千台机器,只要到公有云上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。
2024-05-16 12:14:27
515
原创 索引的数据结构(2)_各个存放 用户记录的页 也是根据页中用户记录的主键大小顺序排成一个 双向链表
包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
2024-05-16 12:13:54
373
转载 最新大数据冷热分离方案_如何对宽表数据进行冷热处理,字节跳动+阿里+华为+腾讯等大厂大数据开发面试题
常规业务都有冷热数据现象明显的特性(需要访问的都是近期产生的热数据; 冷热分离就是在处理的数据的时将数据分成冷库和热库,冷库存放的是已经走到最终状态的数据,同时也是不常使用的数据;热库存放的未走到最终状态的数据,还需要在进行变更的、经常使用的数据。 3.2.2 用户能接受新旧数据分开查询,比如一些网站默认只让查询3或6个月内的订单,如果要查询3或6个月前的订单,还需要访问其他的页面. 一般而言,在判断一个数据到底是冷数据还是热数据时,主要采用主表里一个字段或多个字段的组合作为区分标识。
2024-05-16 08:33:09
360
原创 最新大数据入门-大数据是什么(1),阿里、百度、美团、携程、蚂蚁面经分享
大数据由于体量不断加大,单位数据的价值密 度在不断降低,然而数据的整体价值在提高。以监控视频为例,在一小时的视频中,有用的数据可能仅仅只有一两秒,但是却会非常重要。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现,产生的数据类型无以计数。加速的原因是数据创建的实时性特点,以及将流数据结合到业务流程和决策过程中的需求。**什么叫大的数据,首先数据量大,种类多,增长快,价值密度低,需要分析处理得出有价值的数据。例如微信,淘宝等网站的数据,全球几十亿人的数据都要处理。
2024-05-16 08:32:37
294
原创 最新大数据之Hadoop3(1),面试官6个灵魂拷问
1)各个模块分开启动/停止(配置ssh是前提)常用1.整体启动/停止HDFS2.整体启动/停止YARN2)各个服务组件逐一启动/停止1.分别启动/停止HDFS组件2.启动/停止YARN。
2024-05-16 08:32:03
421
原创 最新大数据Spark实时搜索日志实时分析_百度搜索日志数据集,大数据开发入门
Spark 1.6提供新的状态更新函数【mapWithState】,mapWithState函数也会统计全局的key的状态,但是如果没有数据输入,便不会返回之前的key的状态,只是关心那些已经发生的变化的key,对于没有数据输入,则不会返回那些没有变化的key的数据。这样的话,即使数据量很大,checkpoint也不会像updateStateByKey那样,占用太多的存储,效率比较高;运行应用程序,通过WEB UI界面可以发现,将以前状态保存到Checkpoint检查点目录中,更新时在读取。
2024-05-16 08:31:30
905
原创 数据结构 时间与空间复杂度就看这篇了【生活经历 + 实例讲解】_生活复杂度(1)
从上面两个生活小实例可以看出,我们需要考虑最坏的情况,留出一定的差错空间,这样容错率就可以大大降低。
2024-05-16 00:44:22
700
原创 数据结构 排序算法——选择排序与堆排序_直接选择排序和堆序的区别
/若右孩子来的小,则更新孩子结点为小的那个。//若右孩子来的小,则更新孩子结点为小的那个。else { //若已是小根堆,则不交换。else { //若已是小根堆,则不交换。//交换父亲节点和小的那个孩子结点。//交换父亲节点和大的那个孩子结点。{ //考虑到右孩子越界的情况。{ //考虑到右孩子越界的情况。//选出左右孩子中小的那一个。//选出左右孩子中大的那一个。//重置父亲节点和孩子结点。//重置父亲节点和孩子结点。/*更新最大最小值*//*直接选择排序*/
2024-05-16 00:43:48
528
原创 数据结构 排序算法——选择排序与堆排序_直接选择排序和堆序的区别(1)
本文我们讲述了选择排序与堆排序,选择排序,其性能在众多排序中并不是很高效,并不作为大家的首选。然后着重讲述了一种叫做堆排序,它是利用堆积树(堆)这种数据结构所设计的一种排序算法,虽然需要通过向下调整算法、建堆、查数这些操作,而且还需要你对【二叉树】这种数据结构掌握得比较牢固,但从我们的分析来看,其确实是比较高效地一种排序算法,与希尔排序是等价的,时间复杂度均为O(NlogN)下文我们将进入交换排序,为大家介绍多数人最常用的两种排序算法——冒泡排序与快速排序。
2024-05-16 00:43:16
871
原创 数据结构 十大排序超硬核八万字详解【附动图演示、算法复杂度性能分析】
对于文件中的数据,一般都是很大的,不像我们上面所讲的十二十个数,可能会有成千上百的数据需要我们去排序,此时效率最高的就是【归并排序】了,因为面对海量的数据而言,像效率较高的【快速排序】需要克服三数取中的困难,还有像【堆排序】【希尔排序】这些,都无法支持随机访问,所以很难去对大量的文件进行一个排序,速度会非常之慢。即使是有文件函数【fseek()】这样的函数可以使文件指针偏移,还是很难做到高效。因为磁盘的速度比起内存差了太多太多了,具体的我不太清楚大概有差个几千倍这样,
2024-05-16 00:42:42
948
原创 数仓实践:构建数仓高质量建设指标体系_数仓开发 相同维度多个指标
现在有了数仓质量的度量指标体系,新问题也来了。现有的任务及库表在线上运行及相互依赖引用极多,直接贸然改动可能引起线上问题!本文在常规的分层建设、划分主题外将带大家一起探索出了一条可在大、小团队均可实施落地的数仓建设质量体系构建之路。通过属于分层、最大引用层计算得出跨层引用,如:ads 直接依赖于dwd、ods 层则算跨层引用;示例1:dws-dwd-事件轻度聚合表-dws_detail_app_log_di。所属于分层 + 最大引用层 + (主题)(模块)(任务) + 任务调用脚本。全面衡量数仓建设质量。
2024-05-15 23:44:57
651
原创 攻城狮久坐腰疼需要一把好的人体工学椅,附双11人体工学椅开箱体验_ztra
保友的这款金豪人体工学椅是目前国内设计较优秀的人体工学座椅,该款电脑椅创新性地设计了独立的弹性腰靠结构,能够根据就坐者不同的体重和体型来调节合适的支撑力度,这款椅子将椅背分为上下两个独立模块化形态,两个模块按照人体曲线形态固定方向,其中腰部模块对嵴柱的支撑很有力,宽大的背部模块对就坐者肩部也有很好的保护,这款椅子优秀的椅背分体设计对就坐者背腰部的保护要好于健康双背椅。(源自:《工业设计2020年08期:人体工学座椅模块化设计探索》)腰背分离工学,5节腰椎全面支撑,背有靠,不压肾,不顶肩,头枕支撑不能少。
2024-05-15 23:44:24
1050
原创 攻城狮久坐腰疼需要一把好的人体工学椅,附双11人体工学椅开箱体验_ztra(1)
保友的这款金豪人体工学椅是目前国内设计较优秀的人体工学座椅,该款电脑椅创新性地设计了独立的弹性腰靠结构,能够根据就坐者不同的体重和体型来调节合适的支撑力度,这款椅子将椅背分为上下两个独立模块化形态,两个模块按照人体曲线形态固定方向,其中腰部模块对嵴柱的支撑很有力,宽大的背部模块对就坐者肩部也有很好的保护,这款椅子优秀的椅背分体设计对就坐者背腰部的保护要好于健康双背椅。(源自:《工业设计2020年08期:人体工学座椅模块化设计探索》)腰背分离工学,5节腰椎全面支撑,背有靠,不压肾,不顶肩,头枕支撑不能少。
2024-05-15 23:43:51
962
原创 大数据最全大数据融合与数据仓库 -- 一些思考(1),文末有彩蛋
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取8. IT架构师的工作职责是什么?(What should be the job responsibility of an IT Architect?)9. 对于软件开发人员来说,Mahout的优势是什么?(What
2024-05-15 15:57:35
264
原创 大数据最全大数据简介,技术体系分类整理(1),大数据开发面试问项目难点
Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库例如:MySql间进行数据的传递,可以将一个关系型数据库(例如:MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
2024-05-15 15:57:02
413
原创 大数据最全大数据生态圈常用组件(一):数据库、查询引擎,2024年最新高级大数据开发面试答案
一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写。整理了当年使用过的一些,大数据生态圈组件的特性和使用场景,若有不当之处,请留言斧正,一起学习成长。站内搜索(电商,招聘,门户等),IT系统(OA,CRM,ERP);
2024-05-15 15:56:29
372
原创 大数据最全大数据消息处理中间件之kafka win10快速部署,36岁老码农现身说法
二、修改配置文件zookeeper数据目录:D://Hadoop//Kafka//kafka_2.11-2.4.1//zkdatadirkafka日志目录:D://Hadoop//Kafka//kafka_2.11-2.4.1//logs三、启动服务。
2024-05-15 15:55:56
456
原创 大数据最全JDBC快速入门(3),2024年最新BAT面试&高级进阶
JDBC就是使用Java语言操作关系型数据库的一套API,全称:( Java DataBase Connectivity ) Java 数据库连接。JDBC中定义了所有操作关系型数据库的规则。
2024-05-15 13:11:07
328
原创 大数据最全Java面试题入职总线---总目录,2024年最新最新高频大数据开发笔试题分享
码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**👇🏻可通过点击下面——>关注本人运营。
2024-05-15 13:10:33
429
原创 大数据最全java面试系列-JDBC常见面试题(附答案)_jdbc面试题(4),2024年最新你头秃都没想到还能这样吧
JDBC连接是和数据库服务器建立的一个会话。你可以想像成是一个和数据库的Socket连接。创建JDBC连接很简单,只需要两步:A. 注册并加载驱动:使用Class.forName(),驱动类就会注册到DriverManager里面并加载到内存里。B. 用DriverManager获取连接对象:调用DriverManager.getConnnection()方法并传入数据库连接的URL,用户名及密码,就能获取到连接对象。JDBC的DriverManager是用来做什么的?
2024-05-15 13:10:01
375
原创 大数据最全Java面向对象三大基本特征之多态_面向对象方法中,多态指的是(3),大数据开发面试基础知识
/将父类Animal作为方法的形参使用,是多态的使用方式之一。//定义一个动物叫的方法。
2024-05-15 13:09:26
398
原创 【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges(联邦图神经网络:概述
再然后,将联邦学习与图神经网络相结合,引出联邦图神经网络技术。这两种发展趋势的交汇激发了联邦图神经网络( FedGNNs )领域在最近几年的出现,并在2021年迎来了快速发展。一份立场文件总结了这一趋势,设想了四种可能的联邦图神经网络场景,其基础是如何在数据所有者之间划分图形数据。由于当时对这些设想情景的技术研究并不广泛,因此这些情景之间的界限存在重叠。例如,当重构由不同数据所有者存储的图之间的缺失链接时,"水平联邦图神经网络 "可以与"图结构联邦学习 "混淆。
2024-05-15 04:34:33
823
原创 【论文导读】- Communication-Efficient Learning of Deep Networks from Decentralized Data(高通信效率的去中心化的深度网络学习)
现代移动设备可以获取大量适合学习模型的数据,而这些数据反过来又可以极大地改善设备上的用户体验。例如,语言模型可以提高语音识别和文本输入,图像模型可以自动选择好的照片。然而,这些丰富的数据往往是隐私敏感的,数量大,或者两者兼而有之,这可能妨碍使用常规方法登录数据中心和在那里进行培训。我们提倡一种替代方法,让训练数据分布在移动设备上,并通过聚集本地计算的更新来学习共享模型。我们将这种去中心化的学习方式称为联邦学习。
2024-05-15 04:33:57
867
原创 【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains(聚类驱动的图联邦学习)
我们的目标是学习一个函数f θ:X —> Y,以θ为参数,将输入空间X中的样本映射到输出空间Y中对应的语义。具体来说,我们关注一个分类任务,其中X包含图像,而Y是定义在一组标签上的概率。在FL设置中,服务器没有直接访问数据的权限,但是可以与一组客户端C进行通信,其中每个客户端c∈C访问一个本地数据集,其中x∈X,y∈Y。在此情景下,可以通过查询客户端并依靠其本地更新的参数θ来学习f θ。
2024-05-15 04:33:21
634
原创 【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains(聚类驱动的图联邦学习)(2)
联邦学习( Federation Learning,FL )是在隐私受限的场景中学习一个中心模型(即服务器),其中数据存储在多个设备(即客户)上。中心模型不直接获取数据,只对每个客户端本地计算的参数进行更新。这就产生了一个问题,称为统计异质,因为客户可能具有不同的数据分布(即域)。聚类可以通过识别领域来降低异构性,但是它剥夺了每个集群模型的数据和其他人的监督。本文提出了一种新的聚类驱动的图联合学习( Fed CG )。
2024-05-15 04:32:45
586
原创 Redis从理论到实战:如何使用redis实现短信登录与注册?_使用redis来做一个短信验证注册账号(1)
用hashmap存储userDTO对象。// 基于token获取redis中的用户。// 基于token获取redis中的用户。// 获取请求头中的token。// 获取请求头中的token。// 刷新token有效期。// 刷新token有效期。// 判断用户是否存在。// 判断用户是否存在。
2024-05-14 19:53:02
627
原创 Redis五大数据类型与使用场景汇总!!(含完整实战案例,建议收藏
==”);”);System.out.println(“获得key2的值的字串:”+jedis.getrange(“key2”, 2, 4));/****/@TestSystem.out.println(“key1的值:”+jedis.get(“key1”));System.out.println(“key2的值:”+jedis.get(“key2”));System.out.println(“key1的值加1:”+jedis.incr(“key1”));
2024-05-14 19:52:27
839
原创 Redis五大数据类型与使用场景汇总!!(含完整实战案例,建议收藏(5)
System.out.println(“增加多个键值对:”+jedis.mset(“key01”,“value01”,“key02”,“value02”,“key03”,“value03”));System.out.println(“增加多个键值对:”+jedis.mset(“key01”,“value01”,“key02”,“value02”,“key03”,“value03”));System.out.println(“散列hash的所有键值对为:”+jedis.hgetAll(“hash”));
2024-05-14 19:51:50
460
原创 python高级在线题目训练-第二套·主观题_请编写python代码实现下列要求。给定一个字符串,从头部或尾部截取指定数量的字符(1)
质心代表我们对属于同一个类的样本中心点的猜测,拿星团模型来解释就是要将所有的星星聚成k个星团,首先随机选取k个宇宙中的点(或者k个星星)作为k个星团的质心,然后第一步对于每一个星星计算其到k个质心中每一个的距离,然后选取距离最近的那个星团作为,这样经过第一步每一个星星都有了所属的星团;K-means面对的第一个问题是如何保证收敛,前面的算法中强调结束条件就是收敛,可以证明的是K-means完全可以保证收敛性。比如上面的星星,聚类后结果是一个个星团,星团里面的点相互距离比较近,星团间的星星距离就比较远了。
2024-05-14 19:12:26
761
原创 Python项目之学生管理系统_file ";c users user pycharmprojects studentsystem
学员信息包含:姓名、性别、手机号;添加__str__魔法方法,方便查看学员对象信息。
2024-05-14 19:11:50
1053
原创 Python项目之学生管理系统_file ";c users user pycharmprojects studentsystem (1)
print(f’修改该学员信息成功,姓名{i.name},性别{i.gender}, 手机号{i.tel}')modify_name = input(‘请输入要修改的学员的姓名:’)search_name = input(‘请输入要查询的学员的姓名:’)del_name = input(‘请输入要删除的学员姓名:’)i.gender = input(‘请输入学员性别:’)i.name = input(‘请输入学员姓名:’)i.tel = input(‘请输入学员手机号:’)# 1. 用户输入目标学员姓名。
2024-05-14 19:11:14
949
原创 python面试题——Python中怎么通过反射来调用对象的函数?_python 反射调用函数
【代码】python面试题——Python中怎么通过反射来调用对象的函数?_python 反射调用函数。
2024-05-14 19:10:37
312
原创 2024年最新【JAVA问题解决方案】02(2),大数据开发高级面试题及答案
你可以使用 if, elseif 和 else 指令来条件判断是否越过模板的一个部分。elseif 和 else 必须出现在 if 内部 (也就是,在 if 的开始标签和结束标签之间)。if 中可以包含任意数量的 elseif(包括0个) 而且结束时 else 是可选的。即便它们属于不同的命名空间, 全局变量也被所有模板共享,因为它们是被 import进来的, 不同于 include 进来的。循环变量:循环变量是由如 list 指令自动创建的,而且它们只在指令的开始和结束标记内有效。
2024-05-14 10:34:27
289
原创 2024年最新【java批量导出pdf】优化方案_java pdf导出大量数据的优化(1),2024年最新大数据开发算法面试题
【代码】2024年最新【java批量导出pdf】优化方案_java pdf导出大量数据的优化(1),2024年最新大数据开发算法面试题。
2024-05-14 10:33:51
438
原创 2024年最新【Java基础】数据结构与算法(1),2024年最新腾讯T2亲自教你
通常情况下,精心选择的数据结构可以带来更高的运行或者存储效率定义:数据结构(data structure)是带有结构特性的数据元素的集合,它研究的是数据的逻辑结构和数据的物理结构以及它们之间的相互关系,并对这种结构定义相适应的运算,设计出相应的算法,并确保经过这些运算以后所得到的新结构仍保持原来的结构类型。简而言之,数据结构是相互之间存在一种或多种特定关系的数据元素的集合,即带“结构”的数据元素的集合。“结构”就是指数据元素之间存在的关系,分为逻辑结构和存储结构。
2024-05-14 10:33:15
263
原创 2024年最新【Java基础】Java8 使用 stream(),大数据开发框架体系架构的知识
remark:注意此处加了Lombok的@Data、@AllArgsConstructor、@NoArgsConstructor注解,所以此类的Getter/Setter/toString/全参构造/无参构造都省略。studentList.add(new Student(“王八”, false, 30, 1.75, LocalDate.of(1993, 6, 19)));笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**// 添加测试数据,请不要纠结数据的严谨性。
2024-05-14 10:32:39
352
原创 2024年大数据最新数据结构---顺序表,链表_顺序链表,2024年最新全靠这份大数据开发知识点PDF大全
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取实现代码:例题2删除排序数组中的重复项:链接实现过程:实现代码:例题3合并两个有序数组:链接实现过程—2种情况::实现代码:顺序表的问题及思考如何解决这一问题呢?下面给出了链表的结构来看看。实际中链表的结构非
2024-05-14 01:55:00
1001
原创 2024年大数据最新数据结构 · 线性表 单链表(2),2024年最新最新大数据开发大厂高频面试题
线性表()是n个具有相同特性的数据元素的有限序列。线性表是一种在实际中广泛使用的数据结构,常见的线性表:顺序表、链表、栈、队列、字符串…线性表在逻辑上是线性结构,也就说是连续的一条直线。但是在物理结构上并不一定是连续的,线性表在物理上存储时,通常以数组和链式结构的形式存储。
2024-05-14 01:54:23
856
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人