- 博客(332)
- 收藏
- 关注
原创 计算机网络:电路、报文与分组交换_电路交换和分组交换 传送长度(2)
分组交换限制了每次传送的数据块大小的上限,把大的数据块划分为合理的小数据块,再加上一些必要的控制信息(如源地址、目的地址和编号信息等),构成分组(Packet)。网络结点根据控制信息把分组送到下一个结点,下一个结点接收到分组后,暂时保存并排队等待传输,然后根据分组控制信息选择它的下一个结点,直到到达目的结点。在进行数据传输前,两个结点之间必须先建立一条专用(双方独占)的物理通信路径(由通信双方之间的交换设备和链路逐段连接而成),该路径可能经过许多中间结点。注意,电路建立后,除源结点和目的结点外,
2024-05-16 12:31:16
380
原创 计算机网络:电路、报文与分组交换_电路交换和分组交换 传送长度(1)
分组交换限制了每次传送的数据块大小的上限,把大的数据块划分为合理的小数据块,再加上一些必要的控制信息(如源地址、目的地址和编号信息等),构成分组(Packet)。网络结点根据控制信息把分组送到下一个结点,下一个结点接收到分组后,暂时保存并排队等待传输,然后根据分组控制信息选择它的下一个结点,直到到达目的结点。在进行数据传输前,两个结点之间必须先建立一条专用(双方独占)的物理通信路径(由通信双方之间的交换设备和链路逐段连接而成),该路径可能经过许多中间结点。注意,电路建立后,除源结点和目的结点外,
2024-05-16 12:30:43
387
原创 计算机网络经典面试题30问_计算机网络经典面试题30问_孙中明的博客-csdn博客
短连接:浏览器和服务器每进行一次HTTP操作,就建立一次连接,但任务结束就中断连接。长连接:当一个网页打开完成后,客户端和服务器之间用于传输HTTP数据的 TCP连接不会关闭,如果客户端再次访问这个服务器上的网页,会继续使用这一条已经建立的连接。Keep-Alive不会永久保持连接,它有一个保持时间,可以在不同的服务器软件(如Apache)中设定这个时间。实现长连接要客户端和服务端都支持长连接。
2024-05-16 12:30:10
358
原创 最新大数据生态圈常用组件(一):数据库、查询引擎(1),从入门到精通
一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写。整理了当年使用过的一些,大数据生态圈组件的特性和使用场景,若有不当之处,请留言斧正,一起学习成长。站内搜索(电商,招聘,门户等),IT系统(OA,CRM,ERP);
2024-05-16 08:48:53
252
原创 最新大数据物流项目:Kudu 入门使用(五)_kudu快速入门指南,2024年最新大数据开发面试题
Kudu和Impala都是使用C++语言编写,使用内存进行数据存储和分析,速度比较快的,很多金融公司、证券公司或游戏公司,都会使用此种大数据技术,进行存储数据和分析数据。 Kudu 在一个系统中融合了 OLTP 型随机读写能力与 OLAP 型分析能力,填补了 Hadoop存储层的缺憾,是 Hadoop 生态的一大生力军。
2024-05-16 08:48:20
1007
原创 最新大数据物流项目:Kudu 入门使用(五)_kudu快速入门指南(1),最新高频大数据开发面试题目分享
此外,大数据服务器使用1台虚拟机进行安装部署,先安装CMServer,再使用CM安装部署CDH,伪分布式。
2024-05-16 08:47:46
368
原创 最全14,三面腾讯已拿offer
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取小考点——字典是python中唯一内建的映射类型哦!简单代码了解一下字典:那么,同学们,究竟什么是字典呢?难道是我们提笔忘字的时候拿出的那厚厚的一本《新华字典》吗?我可以很肯定的告诉同学们不是哦!不过呢?我们接下来要
2024-05-16 01:00:02
219
原创 最全10分钟手把手教你用Android手撸一个简易的个人记账App,2024年最新大数据开发入门教程
private String[] type_data = {“”, “收入”, “支出”};android:text=“收支管理”android:text=“查看收支”android:text=“退出登录”android:text=“收支统计”android:text=“我的收支”android:text=“总金额 "android:text=“收支管理”android:text=“日期: "android:text=“类型: "android:text=“金额: "android:text=“说明: "
2024-05-16 00:59:29
599
原创 最全06-五大数据类型(1),2024年最新2024年阿里大数据开发高级面试题及答案
3”127.0.0.1:6379> rPOP list #移除最后一个元素“4”“2”“1”“2”“1”127.0.0.1:6379> LINDEX list 1 #通过下标获取某一个值“1”“2”127.0.0.1:6379> llen list # 获取列表的长度移除指定的值127.0.0.1:6379> lpush list 3 #说明可以放同样的值“3”“3”“2”“1”
2024-05-16 00:58:56
596
原创 大数据最全微服务实战 负载均衡组件及源码分析_微服学习 源码,2024年最新头条大数据开发面试算法
的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
2024-05-15 16:13:50
298
原创 大数据最全开源 SPL 消灭数以万计的数据库中间表_开源spl(2),深度剖析原理
因为数据量大或者计算复杂,报表用户等待时间太长。所以要每天晚上跑批量任务,把数据计算好之后存入中间表。报表用户基于中间表查询就会快很多。来自于文件、NOSQL、Web service 等的外部数据,本身没有多少计算能力,需要利用数据库的计算能力,特别是要与数据库内数据进行混合计算时,传统办法只能导入数据库形成中间表。由于数据库通常采用缺乏层次的扁平结构,中间表一旦创建就可能被多个查询使用,删除就可能影响其他查询。甚至一个中间表被哪些程序使用都很难搞清楚,更不用提删除了,不是不想删,而是不敢删。
2024-05-15 16:13:18
410
原创 大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库(3),2024年最新大数据开发面试基础题
要么给程序员赋予编译存储过程的权限,这样倒是提高效率了,但存在严重的安全隐患,因为编译存储过程的权限过大,程序员有可能误删数据,甚至删除其他应用的数据。但关系数据库并不支持这种方案(有个模式概念可理解为只能分两层),这时候就要给表较长的命名来区别其分类,使用不便,对开发管理水平要求还高,在工作较急迫时常常顾不上规范,而随便起个名字先把任务完成再说,时间长了,就会遗留大量的混乱中间表。SPL 提供了开放的数据源支持,你听说过还是没听说过的数据源几乎都能支持,不仅可以连接取数,还可以进行跨数据源混合计算。
2024-05-15 16:12:45
305
原创 大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库(2),程序员必看
我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。数据库一般有 OLTP 和 OLAP 两个用途。对于 OLTP 业务来讲,因为要保证数据的一致性,而一致性只有在一个确定的范围内谈论才有意义,这样就自然就会带来封闭性:数据库系统将保证也只负责数据库内部的数据的一致性。不过,OLAP业务却没有数据一致性的要求。而用于OLAP业务的数据仓库也常常是用数据库来充当,这样的数据仓库也顺便继承了这个封闭性。
2024-05-15 16:12:12
305
原创 大数据最全Phoenix伪分布安装,2024年最新我总结了24家大厂100份面试题
5.将phoenix的bin目录下配置文件hbase-site.xml文件中的内容追加到hbase的配置文件hbase-site.xml中(为了允许启用二级索引)1.准备软件包并解压,上传到/opt/download/下,解压到/opt/software/hadoop下。重命名软件包为phoenix500。
2024-05-15 13:27:19
339
原创 大数据最全Pandas - 数据分组统计_pandas分组计数,2024年最新看完吊打面试官
示例2:按照图书“一级分类”和“二级分类”对订单数据进行分组统计求和示例3:求各二级分类的七天点击量。首先按“二级分类”分类,而后进行分组统计求和。
2024-05-15 13:26:46
431
原创 大数据最全OpenSearch 学习,【面试必会
D://abc.cer就是刚才导出的xxx.cer的路径显示 是否信任此证书 输入Y 像下面这样就ok再次运行代码 报错此时修改windows的hosts文件添加虚拟机ip node-0.example.com 比如下面这样 火绒安全工具就可以修改再将代码中框柱的位置改为node-0.example.com 再次运行 没有报错利用Dashboard 侧边栏底下的dev-tools可以查看添加的数据右边就是查出来的数据。
2024-05-15 13:26:13
674
原创 大数据最全oops-framework框架 之 入门_oops-plugin-excel-to-json使用,6年老大数据开发面经总结
注:学习oops框架的前提是要了解CocosCreator及常用接口的使用,如果尚未入门,不推荐学习该框架。
2024-05-15 13:25:40
267
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现(视频+源码
基于B/S结构的软件与基于C/S结构的软件相比较有一个显著的改进。基于C/S结构的软件,客户端代码和服务器端代码必须分别存储在客户端和服务器端。3、系统管理员,可以修改自己的信息,并且不仅有查看、增删改的基本权限,还有对用户的管理和注册权限。2、(操作)用户登录,可以修改自己的信息,还可以对系统内容进行增加、删除和修改。该模块实现路线的增加,删除和修改,以及船只与路线关系的管理。该模块实现货柜的增加,删除和修改,以及船只与货柜关系的管理。该模块实现用户对自己的名字和密码等个人信息的修改。
2024-05-15 04:52:27
680
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现(视频+源码(2)
因此,不仅在客户端计算机系统维护的工作能方面显著简化,同时也使用户的操作简单和一致。基于B/S结构的软件与基于C/S结构的软件相比较有一个显著的改进。Hibernate3是在Java开发平台中数据层中间件的开放资源和对象/关系数据库的映射工具。它将实体对象到关系数据库映射的很好,屏蔽了应用软件的关系数据库,关系数据库的访问封装到对象的访问,并为上层提供了一个统一的数据访问接口。作者研究了基于SH中间件的Java Web软件应用程序的体系结构和设计技术,并应用在开发项目上。数据层:是一个独立的后端数据资源。
2024-05-15 04:51:51
1019
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现(视频+源码(1)
Hibernate3是在Java开发平台中数据层中间件的开放资源和对象/关系数据库的映射工具。它将实体对象到关系数据库映射的很好,屏蔽了应用软件的关系数据库,关系数据库的访问封装到对象的访问,并为上层提供了一个统一的数据访问接口。表示层和业务层之间通过接口连接,这样可以降低层与层之间的相互作用,是软件扩展的首选。DAO实现:DAO接口的实现类,调用管理Hibernate类的方法来创建Hibernate会话对象和实现CRUD(创建、检索、更新、删除)数据访问。数据层:是一个独立的后端数据资源。
2024-05-15 04:51:15
750
原创 【项目精选】JAVAWEB校园二手平台项目_校园二手交易平台设计javaweb
在大学校园里,存在着很多的二手商品,但是由于信息资源的不流通以及传统二手商品信息交流方式的笨拙,导致了很多仍然具有一定价值或者具有非常价值的二手商品的囤积,乃至被当作废弃物处理。现在通过校园网进入到本系统,可以方便快捷的发布和交流任何二手商品的信息,并且可以通过留言方式进行深一步的交流。由于每个大学的校园网都基本篇布校园的每一个地方,因此,只要宣传得当,理论上来说,每一个人都可以让他所发布的信息让全校所了解,争取到了信息资源的最大化利用。修改信息:普通用户可以修改自己发布的信息,管理员可以修改所有信息。
2024-05-15 04:50:39
539
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(2)
把 spark-3.5.0-yarn-shuffle.jar 拷贝到 ${HADOOP_HOME}/share/hadoop/yarn/ 目录。配置 ${HADOOP_CONF_DIR}/spark-shuffle-site.xml。
2024-05-14 20:11:19
818
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(1)
如果两个推测执行的 shuffle 数据同时达到,由于锁的限制,会先后执行时,后边的请求执行时,currentMapIndex 都等于当前 map 的 index,也不会有问题。commit 已经废弃。每个不断取 Seq[PushRequest] 的 PushRequest,判断是否达到目标地址的限制,如果达到,则放到 deferredPushRequests 中,如果没有达到,则真正的发送。第2部分从所有运行过执行器的 host 中查找,去除第 1 部分中重叠的 host,并且去除加入黑名单的host。
2024-05-14 20:10:42
955
原创 Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?(3)
在前文(#1.1)介绍的Shared-Nothing、Shared-Data、Shared-Everything 三种架构中,笔者经历过的两套体系(微软Cosmos/Scope体系,和阿里云MaxCompute)均为Shared-Everything架构,因此笔者主要从Shared-Everything架构角度,将大数据领域分成6个叠加的子领域、3个横向领域,共9个领域,具体如下图。平台内部,精细化的分层成为平衡性能和成本的关键手段(这方面,当前数据湖产品还做得远远不够),AI在分层算法上发挥更大的作用。
2024-05-14 20:10:06
908
原创 Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?(2)
在前文(#1.1)介绍的Shared-Nothing、Shared-Data、Shared-Everything 三种架构中,笔者经历过的两套体系(微软Cosmos/Scope体系,和阿里云MaxCompute)均为Shared-Everything架构,因此笔者主要从Shared-Everything架构角度,将大数据领域分成6个叠加的子领域、3个横向领域,共9个领域,具体如下图。平台内部,精细化的分层成为平衡性能和成本的关键手段(这方面,当前数据湖产品还做得远远不够),AI在分层算法上发挥更大的作用。
2024-05-14 20:09:29
744
原创 2024年最新【愚公系列】2024年02月 (1),程序员真的是吃青春饭吗
如果要及时响应修改,则将上述的IOptions改为IOptionsSnapshot。3、IOptions使用。
2024-05-14 10:52:26
329
原创 2024年最新【开卷数据结构 】指针的初步认识_锡兰cc博客,2024年最新大专生三面蚂蚁金服
指针变量的定义形式如:数据类型 * 指针名//分别定义了 int、float、char 类型的指针变量int \*x;float \*f;char \*ch;
2024-05-14 10:51:49
304
原创 2024年最新【开卷数据结构 】多项式的链表表示_用链表表示多项式(2),大厂面试必备技能
如果这两项的指数相同,那么把它们的系数相加,并生成一个新的结果项,然后移动这两个指针,分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数,那么生成 b 的副本项,加入到结果 d 中,并移动指针指向 b 的下一项。每次生成一个新结点,设置它的 coef 域和 expon 域,并将它添加到 d 的尾部,为了避免每次加入新结点时都搜索 d 的最后结点,使用函数 rear 指向 d 中最后的结点。**第三步:**a−>expon>b−>expon。
2024-05-14 10:51:13
242
原创 2024年最新【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12(1),腾讯、字节跳动面经已发
调用出来的结果如下:剩下的安装步骤就一样了和前面。发现相关的文件夹都存在了。不需要再手动create subdirs接下来进入到OGG12,不过进入之前应该先用ldd命令检查一下ggsci需要的库文件都存在不?发现都存在,如果之前环境变量export LD_LIBRARY_PATH=$ORACLE_HOME/lib不设置。检查的结果会有一部分为notfound,而且执行./ggsci命令会报缺少库文件的错。
2024-05-14 10:50:37
254
原创 2024年大数据最新简述PostgreSQL中json数据类型_postgre json,2024年最新大数据开发最新面试题及答案
JSON类型 | PG数据类型 | 说明 || String | text | 不允许\u0000,如果数据库编码不是 UTF8,非 ASCII Unicode 转义也是这样 || Number | Number | 不允许NaN和infinity值 || Boolean | boolean | 只接受小写true和false拼写 || NULL | 无 | SQLNULL是一个不同的概念 |这里关于编码有一个需要解释的地方,就是Unicode的转义问题。
2024-05-14 02:13:06
582
原创 2024年大数据最新第01篇 手写JavaRPC框架之思路分析_feign grpc(1),腾讯T2大牛亲自教你
如果不是因为热爱,我不会这样;如果不是为了,涨点粉丝,我不会这样;如果不是为了几两散碎银子,我更不会这样。以前的文章开场太过严肃,太过专业。就像大学老师上课,只知道讲课。不知道互动。这样效果太差,写的没意思,读者更是没意思。大数据分析还以为你是抄的,还不给你推荐热门 😭。不然就改变一下风格吧,从本系列文章开始,小编就要放飞 ✈️ 自我,随心 ❤️ 而动。希望在分享,总结自己掌握的知识点的同时,能给各位客官带来一点小小的收获。小编尽量全力输出干货,如果看完感觉还行的话,希望能多多关注。
2024-05-14 02:12:30
711
原创 2024年大数据最新社区疫情防控系统-项目前景与范围(4),面试阿里P7岗
这款社区疫情防控智能管理系统能够实时追踪轨迹,自动整合数据,大大提升政府工作人员的决策效率与精度,实现快速响应、精准布控;相较于现有流调模式需要通过公开患者行动信息、依靠基层工作人员和群众进行大量信息交互的形式,该系统实现的智能流调可更大程度保护居民隐私,减轻基层工作人员压力,优化分工结构;在疫情消退的常态化时期,该系统还可用于防旱防涝、扫黑除恶等基层社会治理工作。
2024-05-14 02:11:44
906
原创 2024年大数据最新硬件知识:打印机十个共性故障解决方法_打印电缆过长如何解决(3),2024年京东大数据开发岗面试必问
今天给大家分享打印机10个常见的故障以及维修方法,希望对大家能有所帮助!1. 对于针式打印机,引起打印纸空白的原因大多是由于色带油墨干涸、色带拉断、打印头损坏等,应及时更换色带或维修打印头 ( 多数是更换色带就能解决)2. 对于喷墨打印机,引起打印空白的故障大多是由于喷嘴堵塞、墨盒没有墨水等,应清洗喷头或更换墨盒,(建议先换墨盒)2.对于喷墨打印机,应重点检查喷头是否损坏、墨水管是否破裂、墨水的型号是否正常等。先调节一下打印头与打印辊间的间距,故障不能排除,可以换新色带。
2024-05-14 02:11:08
760
原创 2024年大数据最全Hadoop大数据应用:NFS网关 连接 HDFS集群,2024年最新从三流大数据开发外包到秒杀阿里P7,
(10)启动服务(12)查看jps(13) 验证(14)卸载 (nfsgateway节点)完成(15)安装java运行环境查看jps(16)SSH免密认证(17)关闭安全机制(需要reboot重启)(18)同步hadoop配置(19)修改NFS网关配置文件 (nfsgateway节点)修改前:(20)创建转储目录(21)为代理用户授权(22)在日志文件夹为代理用户授权删除授权查看授权(23)启动portmap查看jps查看日志(24)启动 nfs3查看jps查看日志权限。
2024-05-13 17:26:31
656
原创 2024年大数据最全hadoop修改配置文件和环境变量_hadoop命令环境变量export配置(2),精选大数据开发面试真题集锦
(img-VYAcIOot-1715592332589)]设置MR程序默认运行模式: yarn集群模式 local本地模式。设置HDFS web UI用户身份。设置YARN集群主角色运行机器位置。设置SNN进程运行机器位置信息。MR程序历史服务器web端地址。是否将对容器实施虚拟内存限制。是否将对容器实施物理内存限制。整合hive 用户代理设置。设置yarn历史服务器地址。历史日志保存的时间 7天。文件系统垃圾桶保存时间。MR程序历史服务地址。
2024-05-13 17:25:55
699
原创 2024年大数据最全Hadoop之HDFS——【模块一】元数据架构_元数据hdfs(3),2024年最新面试资料分享
在HDFS中,元数据主要指的是文件相关的元数据,通过两种形式来进行管理维护,第一种是内存,维护集群数据的最新信息,第二种是磁盘,对内存中的信息进行维护与持久化,由namenode管理维护。3、在内存中维护数据块的映射信息,即块文件与datanode的对应关系,namenode只在内存中维护此关系,不会永久化到磁盘上,因此在集群刚启动是,namenode中并没有块文件与datanode的对应关系,需要datanode上报自身的块文件信息后,才可以正常工作。
2024-05-13 17:25:19
319
原创 2024年大数据最全hadoop3分布式基本部署_hadoop3 双namenode 部署,2024年最新12个View绘制流程高频面试题
4)4个配置文件,core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。命令:tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。(5)将/etc/hosts文件传输给slave1,slave2。如:master,slave1,slave2等。
2024-05-13 17:24:42
667
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人