- 博客(332)
- 收藏
- 关注
RSS订阅原创 计算机网络：电路、报文与分组交换_电路交换和分组交换 传送长度(2)
分组交换限制了每次传送的数据块大小的上限，把大的数据块划分为合理的小数据块，再加上一些必要的控制信息（如源地址、目的地址和编号信息等)，构成分组（Packet)。网络结点根据控制信息把分组送到下一个结点，下一个结点接收到分组后，暂时保存并排队等待传输，然后根据分组控制信息选择它的下一个结点，直到到达目的结点。在进行数据传输前，两个结点之间必须先建立一条专用（双方独占）的物理通信路径（由通信双方之间的交换设备和链路逐段连接而成)，该路径可能经过许多中间结点。注意，电路建立后，除源结点和目的结点外，
2024-05-16 12:31:16
307
原创 计算机网络：电路、报文与分组交换_电路交换和分组交换 传送长度(1)
分组交换限制了每次传送的数据块大小的上限，把大的数据块划分为合理的小数据块，再加上一些必要的控制信息（如源地址、目的地址和编号信息等)，构成分组（Packet)。网络结点根据控制信息把分组送到下一个结点，下一个结点接收到分组后，暂时保存并排队等待传输，然后根据分组控制信息选择它的下一个结点，直到到达目的结点。在进行数据传输前，两个结点之间必须先建立一条专用（双方独占）的物理通信路径（由通信双方之间的交换设备和链路逐段连接而成)，该路径可能经过许多中间结点。注意，电路建立后，除源结点和目的结点外，
2024-05-16 12:30:43
300
原创 计算机网络经典面试题30问_计算机网络经典面试题30问_孙中明的博客-csdn博客
短连接:浏览器和服务器每进行一次HTTP操作，就建立一次连接，但任务结束就中断连接。长连接:当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的 TCP连接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接。Keep-Alive不会永久保持连接，它有一个保持时间，可以在不同的服务器软件（如Apache）中设定这个时间。实现长连接要客户端和服务端都支持长连接。
2024-05-16 12:30:10
296
原创 最新大数据生态圈常用组件（一）：数据库、查询引擎(1)，从入门到精通
一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。整理了当年使用过的一些，大数据生态圈组件的特性和使用场景，若有不当之处，请留言斧正，一起学习成长。站内搜索（电商，招聘，门户等），IT系统（OA,CRM,ERP）；
2024-05-16 08:48:53
228
原创 最新大数据物流项目：Kudu 入门使用（五）_kudu快速入门指南，2024年最新大数据开发面试题
Kudu和Impala都是使用C++语言编写，使用内存进行数据存储和分析，速度比较快的，很多金融公司、证券公司或游戏公司，都会使用此种大数据技术，进行存储数据和分析数据。 Kudu 在一个系统中融合了 OLTP 型随机读写能力与 OLAP 型分析能力，填补了 Hadoop存储层的缺憾，是 Hadoop 生态的一大生力军。
2024-05-16 08:48:20
963
原创 最新大数据物流项目：Kudu 入门使用（五）_kudu快速入门指南(1)，最新高频大数据开发面试题目分享
此外，大数据服务器使用1台虚拟机进行安装部署，先安装CMServer，再使用CM安装部署CDH，伪分布式。
2024-05-16 08:47:46
328
原创 最全14，三面腾讯已拿offer
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取小考点——字典是python中唯一内建的映射类型哦！简单代码了解一下字典：那么，同学们，究竟什么是字典呢？难道是我们提笔忘字的时候拿出的那厚厚的一本《新华字典》吗？我可以很肯定的告诉同学们不是哦！不过呢？我们接下来要
2024-05-16 01:00:02
211
原创 最全10分钟手把手教你用Android手撸一个简易的个人记账App，2024年最新大数据开发入门教程
private String[] type_data = {“”, “收入”, “支出”};android:text=“收支管理”android:text=“查看收支”android:text=“退出登录”android:text=“收支统计”android:text=“我的收支”android:text=“总金额 "android:text=“收支管理”android:text=“日期: "android:text=“类型: "android:text=“金额: "android:text=“说明: "
2024-05-16 00:59:29
545
原创 最全06-五大数据类型(1)，2024年最新2024年阿里大数据开发高级面试题及答案
3”127.0.0.1:6379> rPOP list #移除最后一个元素“4”“2”“1”“2”“1”127.0.0.1:6379> LINDEX list 1 #通过下标获取某一个值“1”“2”127.0.0.1:6379> llen list # 获取列表的长度移除指定的值127.0.0.1:6379> lpush list 3 #说明可以放同样的值“3”“3”“2”“1”
2024-05-16 00:58:56
582
原创 大数据最全微服务实战 负载均衡组件及源码分析_微服学习 源码，2024年最新头条大数据开发面试算法
的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-15 16:13:50
273
原创 大数据最全开源 SPL 消灭数以万计的数据库中间表_开源spl(2)，深度剖析原理
因为数据量大或者计算复杂，报表用户等待时间太长。所以要每天晚上跑批量任务，把数据计算好之后存入中间表。报表用户基于中间表查询就会快很多。来自于文件、NOSQL、Web service 等的外部数据，本身没有多少计算能力，需要利用数据库的计算能力，特别是要与数据库内数据进行混合计算时，传统办法只能导入数据库形成中间表。由于数据库通常采用缺乏层次的扁平结构，中间表一旦创建就可能被多个查询使用，删除就可能影响其他查询。甚至一个中间表被哪些程序使用都很难搞清楚，更不用提删除了，不是不想删，而是不敢删。
2024-05-15 16:13:18
396
原创 大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库(3)，2024年最新大数据开发面试基础题
要么给程序员赋予编译存储过程的权限，这样倒是提高效率了，但存在严重的安全隐患，因为编译存储过程的权限过大，程序员有可能误删数据，甚至删除其他应用的数据。但关系数据库并不支持这种方案（有个模式概念可理解为只能分两层），这时候就要给表较长的命名来区别其分类，使用不便，对开发管理水平要求还高，在工作较急迫时常常顾不上规范，而随便起个名字先把任务完成再说，时间长了，就会遗留大量的混乱中间表。SPL 提供了开放的数据源支持，你听说过还是没听说过的数据源几乎都能支持，不仅可以连接取数，还可以进行跨数据源混合计算。
2024-05-15 16:12:45
245
原创 大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库(2)，程序员必看
我们知道，数据库的数据处理能力是封闭的。所谓封闭性，这里是指要被数据库计算和处理的数据，必须事先装入数据库之内，数据在数据库内部还是外部是很明确的。数据库一般有 OLTP 和 OLAP 两个用途。对于 OLTP 业务来讲，因为要保证数据的一致性，而一致性只有在一个确定的范围内谈论才有意义，这样就自然就会带来封闭性：数据库系统将保证也只负责数据库内部的数据的一致性。不过，OLAP业务却没有数据一致性的要求。而用于OLAP业务的数据仓库也常常是用数据库来充当，这样的数据仓库也顺便继承了这个封闭性。
2024-05-15 16:12:12
255
原创 大数据最全Phoenix伪分布安装，2024年最新我总结了24家大厂100份面试题
5.将phoenix的bin目录下配置文件hbase-site.xml文件中的内容追加到hbase的配置文件hbase-site.xml中（为了允许启用二级索引）1.准备软件包并解压，上传到/opt/download/下，解压到/opt/software/hadoop下。重命名软件包为phoenix500。
2024-05-15 13:27:19
327
原创 大数据最全Pandas - 数据分组统计_pandas分组计数，2024年最新看完吊打面试官
示例2:按照图书“一级分类”和“二级分类”对订单数据进行分组统计求和示例3:求各二级分类的七天点击量。首先按“二级分类”分类，而后进行分组统计求和。
2024-05-15 13:26:46
398
原创 大数据最全OpenSearch 学习，【面试必会
D://abc.cer就是刚才导出的xxx.cer的路径显示 是否信任此证书 输入Y 像下面这样就ok再次运行代码 报错此时修改windows的hosts文件添加虚拟机ip node-0.example.com 比如下面这样 火绒安全工具就可以修改再将代码中框柱的位置改为node-0.example.com 再次运行 没有报错利用Dashboard 侧边栏底下的dev-tools可以查看添加的数据右边就是查出来的数据。
2024-05-15 13:26:13
324
原创 大数据最全oops-framework框架 之 入门_oops-plugin-excel-to-json使用，6年老大数据开发面经总结
注：学习oops框架的前提是要了解CocosCreator及常用接口的使用，如果尚未入门，不推荐学习该框架。
2024-05-15 13:25:40
259
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现（视频+源码
基于B／S结构的软件与基于C／S结构的软件相比较有一个显著的改进。基于C／S结构的软件，客户端代码和服务器端代码必须分别存储在客户端和服务器端。3、系统管理员，可以修改自己的信息，并且不仅有查看、增删改的基本权限，还有对用户的管理和注册权限。2、（操作）用户登录，可以修改自己的信息，还可以对系统内容进行增加、删除和修改。该模块实现路线的增加，删除和修改，以及船只与路线关系的管理。该模块实现货柜的增加，删除和修改，以及船只与货柜关系的管理。该模块实现用户对自己的名字和密码等个人信息的修改。
2024-05-15 04:52:27
653
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现（视频+源码(2)
因此,不仅在客户端计算机系统维护的工作能方面显著简化,同时也使用户的操作简单和一致。基于B／S结构的软件与基于C／S结构的软件相比较有一个显著的改进。Hibernate3是在Java开发平台中数据层中间件的开放资源和对象/关系数据库的映射工具。它将实体对象到关系数据库映射的很好，屏蔽了应用软件的关系数据库，关系数据库的访问封装到对象的访问，并为上层提供了一个统一的数据访问接口。作者研究了基于SH中间件的Java Web软件应用程序的体系结构和设计技术,并应用在开发项目上。数据层:是一个独立的后端数据资源。
2024-05-15 04:51:51
1004
原创 【项目精选】jsp码头船只出行及配套货柜码放管理系统的设计与实现（视频+源码(1)
Hibernate3是在Java开发平台中数据层中间件的开放资源和对象/关系数据库的映射工具。它将实体对象到关系数据库映射的很好，屏蔽了应用软件的关系数据库，关系数据库的访问封装到对象的访问，并为上层提供了一个统一的数据访问接口。表示层和业务层之间通过接口连接，这样可以降低层与层之间的相互作用，是软件扩展的首选。DAO实现:DAO接口的实现类,调用管理Hibernate类的方法来创建Hibernate会话对象和实现CRUD(创建、检索、更新、删除)数据访问。数据层:是一个独立的后端数据资源。
2024-05-15 04:51:15
730
原创 【项目精选】JAVAWEB校园二手平台项目_校园二手交易平台设计javaweb
在大学校园里，存在着很多的二手商品，但是由于信息资源的不流通以及传统二手商品信息交流方式的笨拙，导致了很多仍然具有一定价值或者具有非常价值的二手商品的囤积，乃至被当作废弃物处理。现在通过校园网进入到本系统，可以方便快捷的发布和交流任何二手商品的信息，并且可以通过留言方式进行深一步的交流。由于每个大学的校园网都基本篇布校园的每一个地方，因此，只要宣传得当，理论上来说，每一个人都可以让他所发布的信息让全校所了解，争取到了信息资源的最大化利用。修改信息：普通用户可以修改自己发布的信息，管理员可以修改所有信息。
2024-05-15 04:50:39
514
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(2)
把 spark-3.5.0-yarn-shuffle.jar 拷贝到 ${HADOOP_HOME}/share/hadoop/yarn/ 目录。配置 ${HADOOP_CONF_DIR}/spark-shuffle-site.xml。
2024-05-14 20:11:19
801
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(1)
如果两个推测执行的 shuffle 数据同时达到，由于锁的限制，会先后执行时，后边的请求执行时，currentMapIndex 都等于当前 map 的 index，也不会有问题。commit 已经废弃。每个不断取 Seq[PushRequest] 的 PushRequest，判断是否达到目标地址的限制，如果达到，则放到 deferredPushRequests 中，如果没有达到，则真正的发送。第2部分从所有运行过执行器的 host 中查找，去除第 1 部分中重叠的 host，并且去除加入黑名单的host。
2024-05-14 20:10:42
940
原创 Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？(3)
在前文(#1.1)介绍的Shared-Nothing、Shared-Data、Shared-Everything 三种架构中，笔者经历过的两套体系（微软Cosmos/Scope体系，和阿里云MaxCompute）均为Shared-Everything架构，因此笔者主要从Shared-Everything架构角度，将大数据领域分成6个叠加的子领域、3个横向领域，共9个领域，具体如下图。平台内部，精细化的分层成为平衡性能和成本的关键手段（这方面，当前数据湖产品还做得远远不够），AI在分层算法上发挥更大的作用。
2024-05-14 20:10:06
874
原创 Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？(2)
在前文(#1.1)介绍的Shared-Nothing、Shared-Data、Shared-Everything 三种架构中，笔者经历过的两套体系（微软Cosmos/Scope体系，和阿里云MaxCompute）均为Shared-Everything架构，因此笔者主要从Shared-Everything架构角度，将大数据领域分成6个叠加的子领域、3个横向领域，共9个领域，具体如下图。平台内部，精细化的分层成为平衡性能和成本的关键手段（这方面，当前数据湖产品还做得远远不够），AI在分层算法上发挥更大的作用。
2024-05-14 20:09:29
728
原创 2024年最新【愚公系列】2024年02月 (1)，程序员真的是吃青春饭吗
如果要及时响应修改，则将上述的IOptions改为IOptionsSnapshot。3、IOptions使用。
2024-05-14 10:52:26
313
原创 2024年最新【开卷数据结构 】指针的初步认识_锡兰cc博客，2024年最新大专生三面蚂蚁金服
指针变量的定义形式如：数据类型 * 指针名//分别定义了 int、float、char 类型的指针变量int \*x;float \*f;char \*ch;
2024-05-14 10:51:49
271
原创 2024年最新【开卷数据结构 】多项式的链表表示_用链表表示多项式(2)，大厂面试必备技能
如果这两项的指数相同，那么把它们的系数相加，并生成一个新的结果项，然后移动这两个指针，分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数，那么生成 b 的副本项，加入到结果 d 中，并移动指针指向 b 的下一项。每次生成一个新结点，设置它的 coef 域和 expon 域，并将它添加到 d 的尾部，为了避免每次加入新结点时都搜索 d 的最后结点，使用函数 rear 指向 d 中最后的结点。**第三步：**a−>expon>b−>expon。
2024-05-14 10:51:13
219
原创 2024年最新【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12(1)，腾讯、字节跳动面经已发
调用出来的结果如下：剩下的安装步骤就一样了和前面。发现相关的文件夹都存在了。不需要再手动create subdirs接下来进入到OGG12，不过进入之前应该先用ldd命令检查一下ggsci需要的库文件都存在不？发现都存在，如果之前环境变量export LD_LIBRARY_PATH=$ORACLE_HOME/lib不设置。检查的结果会有一部分为notfound,而且执行./ggsci命令会报缺少库文件的错。
2024-05-14 10:50:37
238
原创 2024年大数据最新简述PostgreSQL中json数据类型_postgre json，2024年最新大数据开发最新面试题及答案
JSON类型 | PG数据类型 | 说明 || String | text | 不允许\u0000，如果数据库编码不是 UTF8，非 ASCII Unicode 转义也是这样 || Number | Number | 不允许NaN和infinity值 || Boolean | boolean | 只接受小写true和false拼写 || NULL | 无 | SQLNULL是一个不同的概念 |这里关于编码有一个需要解释的地方，就是Unicode的转义问题。
2024-05-14 02:13:06
560
原创 2024年大数据最新第01篇 手写JavaRPC框架之思路分析_feign grpc(1)，腾讯T2大牛亲自教你
如果不是因为热爱，我不会这样；如果不是为了，涨点粉丝，我不会这样；如果不是为了几两散碎银子，我更不会这样。以前的文章开场太过严肃，太过专业。就像大学老师上课，只知道讲课。不知道互动。这样效果太差，写的没意思，读者更是没意思。大数据分析还以为你是抄的，还不给你推荐热门 😭。不然就改变一下风格吧，从本系列文章开始，小编就要放飞 ✈️ 自我，随心 ❤️ 而动。希望在分享，总结自己掌握的知识点的同时，能给各位客官带来一点小小的收获。小编尽量全力输出干货，如果看完感觉还行的话，希望能多多关注。
2024-05-14 02:12:30
687
原创 2024年大数据最新社区疫情防控系统-项目前景与范围(4)，面试阿里P7岗
这款社区疫情防控智能管理系统能够实时追踪轨迹，自动整合数据，大大提升政府工作人员的决策效率与精度，实现快速响应、精准布控；相较于现有流调模式需要通过公开患者行动信息、依靠基层工作人员和群众进行大量信息交互的形式，该系统实现的智能流调可更大程度保护居民隐私，减轻基层工作人员压力，优化分工结构；在疫情消退的常态化时期，该系统还可用于防旱防涝、扫黑除恶等基层社会治理工作。
2024-05-14 02:11:44
876
原创 2024年大数据最新硬件知识：打印机十个共性故障解决方法_打印电缆过长如何解决(3)，2024年京东大数据开发岗面试必问
今天给大家分享打印机10个常见的故障以及维修方法，希望对大家能有所帮助！1. 对于针式打印机，引起打印纸空白的原因大多是由于色带油墨干涸、色带拉断、打印头损坏等，应及时更换色带或维修打印头 ( 多数是更换色带就能解决)2. 对于喷墨打印机，引起打印空白的故障大多是由于喷嘴堵塞、墨盒没有墨水等，应清洗喷头或更换墨盒，（建议先换墨盒）2.对于喷墨打印机，应重点检查喷头是否损坏、墨水管是否破裂、墨水的型号是否正常等。先调节一下打印头与打印辊间的间距，故障不能排除，可以换新色带。
2024-05-14 02:11:08
704
原创 2024年大数据最全Hadoop大数据应用：NFS网关 连接 HDFS集群，2024年最新从三流大数据开发外包到秒杀阿里P7,
（10）启动服务（12）查看jps(13) 验证（14）卸载 （nfsgateway节点）完成（15）安装java运行环境查看jps（16）SSH免密认证（17）关闭安全机制（需要reboot重启）（18）同步hadoop配置（19）修改NFS网关配置文件 （nfsgateway节点）修改前：（20）创建转储目录（21）为代理用户授权（22）在日志文件夹为代理用户授权删除授权查看授权（23）启动portmap查看jps查看日志(24)启动 nfs3查看jps查看日志权限。
2024-05-13 17:26:31
609
原创 2024年大数据最全hadoop修改配置文件和环境变量_hadoop命令环境变量export配置(2)，精选大数据开发面试真题集锦
(img-VYAcIOot-1715592332589)]设置MR程序默认运行模式： yarn集群模式 local本地模式。设置HDFS web UI用户身份。设置YARN集群主角色运行机器位置。设置SNN进程运行机器位置信息。MR程序历史服务器web端地址。是否将对容器实施虚拟内存限制。是否将对容器实施物理内存限制。整合hive 用户代理设置。设置yarn历史服务器地址。历史日志保存的时间 7天。文件系统垃圾桶保存时间。MR程序历史服务地址。
2024-05-13 17:25:55
678
原创 2024年大数据最全Hadoop之HDFS——【模块一】元数据架构_元数据hdfs(3)，2024年最新面试资料分享
在HDFS中，元数据主要指的是文件相关的元数据，通过两种形式来进行管理维护，第一种是内存，维护集群数据的最新信息，第二种是磁盘，对内存中的信息进行维护与持久化，由namenode管理维护。3、在内存中维护数据块的映射信息，即块文件与datanode的对应关系,namenode只在内存中维护此关系，不会永久化到磁盘上，因此在集群刚启动是，namenode中并没有块文件与datanode的对应关系，需要datanode上报自身的块文件信息后，才可以正常工作。
2024-05-13 17:25:19
299
原创 2024年大数据最全hadoop3分布式基本部署_hadoop3 双namenode 部署，2024年最新12个View绘制流程高频面试题
4）4个配置文件，core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。命令：tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。（5）将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。(5)将/etc/hosts文件传输给slave1,slave2。如：master,slave1,slave2等。
2024-05-13 17:24:42
646
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人