普通网友-CSDN博客

原创【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么

控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR 包。JobManager 会把JobGraph 转换成一个物理层面的数据流图，这个图被叫做 “执行图”（ExecutionGraph），包含了所有可以并发执行的任务。

2024-06-20 02:12:21 1090

原创 python大数据可视化分析淘宝商品，开专卖店不行啊_基于python的淘宝数码产品的数据分析与可视化

shop_num[‘其他’] = 176 - shop_num[‘专卖店’] - shop_num[‘专营店’] - shop_num[‘旗舰店’]v = [shop_num[‘旗舰店’], shop_num[‘专卖店’], shop_num[‘其他’], shop_num[‘专卖店’]]v = [shop_num[‘旗舰店’], shop_num[‘专卖店’], shop_num[‘其他’], shop_num[‘专卖店’]]q=’ + goods # 初始搜索地址。

2024-06-20 01:06:08 1013

原创 Hadoop(01) Hadoop3

的错误，那么，请到hadoop的安装目录修改配置文件“/usr/local/hadoop-3.3.6/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次启动Hadoop。这些命令是 Hadoop 提供的命令行工具，用于管理和操作 HDFS 上的文件和目录。

2024-06-19 23:56:56 906

原创最新【Unityc#专题篇】—基础章题单实践_untiyc，深度解析，值得收藏

⭐习题总结专题篇⭐🎶前言🎶（A）枚举🎶（B）一维数组🎶（C）二维数组🎶（D）值，引用类型存储上的区别🎶（E）函数的使用🎶（F）ref和out🎶（G）params🎶（H）重载🎶（I）递归🎶（J）结构体🎶（K）冒泡和选择排序⭐相关文章⭐🅰️题单来自：唐老狮。

2024-05-16 07:25:48 971

原创最新【Three(4)，2024年最新大数据开发校招面试指南

接下来，我们来给物体添加环境光平行光：方向从一个平行光位置 position 到 target 位置接下来，我们来给物体在环境光的基础上添加平行光。

2024-05-16 07:25:15 902

原创最新【Spark深入学习 -14】Spark应用经验与程序调优，2024年最新2024大厂大数据开发高级面试题及答案

所以低效率的文件存储格式就像是一个赖媳妇，家里被管的一塌糊涂，东西越多越脏乱差，高效率的文件存储格式就是勤快且聪明的媳妇，一切都管的井然有序，取东西方便，放东西也容易，还会根据不同的物品特征进行摆放，完美，6666！假如一个任务有3个parition，经过filger过滤之后，可能导致部分剩下很少，有些剩余很多，剩余很多的在下一步计算量很大，会拖后腿，其他的作业很快就做完了，而剩余很多的要执行很长时间，整个任务都要延误，而其他很快执行完的作业早就释放资源了。机器配置的参差不齐，应该如何有区别的调度。

2024-05-16 07:24:42 1076

原创最新【Spark】Spark SQL 数据类型转换_spark 字段类型(3)，2024年最新2024年阿里大数据开发岗面试必问

说明默认都是StringType类型。

2024-05-16 07:24:08 404

原创客快物流大数据项目（一百零九）：Spring Boot概述_javaspringboot物流项目系统一般有什么功能(1)

一、什么是SpringBootSpring Boot是Spring项目中的一个子工程，与我们所熟知的Spring-framework 同属于spring的产品：Spring Boot的设计目的是让您尽可能快地启动和运行，而无需预先配置Spring。Spring Boot以一种固定的方式来构建可用于生产级别的应用程序。一般把Spring Boot称为搭建程序的脚手架或者说是便捷搭建基于Spring的工程脚手架。

2024-05-15 22:38:30 869

原创客快物流大数据项目（一百零七）：物流信息查询服务接口开发解决方案_物流项目接口设计

而且REST相比RPC更为灵活，服务提供方和调用方的依赖只依靠一纸契约，不存在代码级别的强依赖，这在强调快速演化的微服务环境下，显得更加合适。当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。，而Spring Cloud下面有17个子项目（可能还会新增）分别覆盖了微服务架构下的方方面面，服务治理只是其中的一个方面，一定程度来说，这些服务可以使用不同的编程语言实现，以及不同数据存储技术，并保持最低限度的集中式管理。

2024-05-15 22:37:57 831

原创实时即未来，大数据项目车联网之项目基石与前瞻【一】_车联网大数据项目

通过终端设备采集车辆上的CAN总线实时数据和企业静态hu离线数据，获取当前车辆的位置、行驶高程、车速、油压、电量、行驶里程、告警数据等数据，对其进行业务，车辆行程、故障告警、电子栅栏、百公里油耗、高温报警、低soc告警、疲劳驾驶告警等车联网分析，支撑汽车后服务市场、车企、政府监管部门、车主等服务。到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。车联网数据分析车辆驾驶信息、车辆行驶信息、车辆车况信息、车辆故障信息、车辆报警信息等。在调度平台中加载 shell 文件。

2024-05-15 22:37:24 1248

原创实时即未来，大数据项目车联网之项目基石与前瞻【一】_车联网大数据项目(5)

车联网数据分析车辆驾驶信息、车辆行驶信息、车辆车况信息、车辆故障信息、车辆报警信息等。车联网项目分析的意义车辆流程改进、车辆产品质量改进做决策2. 对车主提供告警和报警信息，预防预测，防止出现危险、事故等3. 对监管部门监管车辆的行驶轨迹、防止骗补，故障告警等4. 新能源充电桩企业电量的电价，规划和放置充电桩位置星途车联网项目。

2024-05-15 22:36:51 988

原创大数据最全DolphinScheduler-3(1)，面试前必看的一本书书籍

创建 dolphinscheduler 数据库用户和密码，并限定登陆范围。– 创建 dolphinscheduler 的元数据，并指定编码。– 为dolphinscheduler数据库授权。– 进入MySQL命令行。

2024-05-15 11:58:07 515

原创大数据最全Docker容器的简单介绍与使用_学习容器引擎docker的使用，从零开始学数据结构和算法

Docker 是一个开源的应用容器引擎，可以让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。Docker可以将开发中的应用、依赖、函数库、配置一起打包，形成可移植镜像，迁移到任意的Linux系统；同时，Docker应用运行在容器中，使用沙箱机制，相互隔离，各个应用之间不会相互干扰，Docker的启动和移除都可以通过命令来完成，比较简单而方便。

2024-05-15 11:57:31 482

原创大数据最全Docker初级：Docker常用命令总结_docker命令在官网哪里看(2)，大厂架构师经验分享

docker容器后台启动时，必须有一个前台的进程，docker发现没有前台，就会自动停止。(img-rcm6CYA1-1715745393311)](img-YvPVAY5Z-1715745393311)]注意：正在运行的容器不能删除！在使用容器之前需要先下载镜像！

2024-05-15 11:56:55 298

原创大数据最全django数据库报错汇总：django(3)，2024程序员进阶宝典

出现报错代码为2003的是数据库连接失败，端口错误，地址错误。报错原因：数据库地址写错，导致链接超时。解决方式：检查自己的密码是否输入正确。配置数据库的字段是否出现的拼写错误。解决方式修改配置文件中的端口号。报错原因：没有配置数据库驱动。报错原因：配置文件出错。的可以通过pip进行安装。这个就是代表配置文件中。报错原因：端口号错误。

2024-05-15 11:56:18 483

原创【微服务】微服务学习笔记二：Eureka注册中心的介绍及搭建_eurake是独立项目吗(3)

在介绍Eureka之前，我先讲两个概念，一是服务提供者，它指的是在一次业务中被其它微服务调用的服务（提供接口给其它微服务），也就是暴露接口给其它微服务调用；另一个是服务消费者，它是指再一次业务中调用其它服务的服务（调用其它服务提供的接口）。要注意的是，提供者与消费者之间的角色是相对的，就好比当你去买东西时候，相对于卖东西给你那个人你就是消费者；当你去卖东西时候相对于买你东西那个人你就是提供者。// 2.利用RestTemplate发起Http请求，查询用户//2.1 url路径。

2024-05-15 03:19:25 716

原创【微服务】微服务学习笔记二：Eureka注册中心的介绍及搭建_eurake是独立项目吗(2)

在介绍Eureka之前，我先讲两个概念，一是服务提供者，它指的是在一次业务中被其它微服务调用的服务（提供接口给其它微服务），也就是暴露接口给其它微服务调用；另一个是服务消费者，它是指再一次业务中调用其它服务的服务（调用其它服务提供的接口）。要注意的是，提供者与消费者之间的角色是相对的，就好比当你去买东西时候，相对于卖东西给你那个人你就是消费者；当你去卖东西时候相对于买你东西那个人你就是提供者。// 2.利用RestTemplate发起Http请求，查询用户//2.1 url路径。

2024-05-15 03:18:49 720

原创【微服务】微服务学习笔记二：Eureka注册中心的介绍及搭建_eurake是独立项目吗(1)

当我们需要调用8081端口提供的服务的时候，就可以通过上诉方法进行服务调用。上述方法是通过硬编码实现的，会存在很多的问题，比如我们需要调用大量不同的服务时候，就需要指定很多的URL，而且你还需要清楚地知道每个服务的IP和端口号，这样显然是很不友好的；此外，当一个服务提供很多实例时候，采用了上述硬编码方式消费者如何进行选择呢？就比如某一服务提供了三个实例，采用上述方式永远只能选定一个实例，另外两个实例永远不会被调用，除非你直接对代码进行更改。最后还存在一个问题，消费者如何得知服务提供者的健康状态呢?

2024-05-15 03:18:13 888

原创【微信小程序入门到精通】— 小程序的 API 到底是个啥_微信小程序框架组件 api分别什么意思(1)

对于目前形式，微信小程序是一个热门，那么我们该如何去学习并且掌握之后去做实际项目呢？为此我特意开设此专栏，在我学习的同时也将其分享给大家！本篇文章主要给大家介绍一下微信小程序的 API 到底是个啥，都能干啥。如果在往下阅读的过程中，有什么错误的地方，期待大家的指点！

2024-05-15 03:17:37 495

原创 nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件(4)

Apache NiFi 大数据组件具有许多优势，使其成为处理大规模数据流的强大工具。NiFi 提供了直观、可视化的用户界面，使用户能够通过图形方式设计和配置复杂的数据流程，降低了学习曲线，使得即便非专业的数据工程师也能轻松上手。2. 可扩展性和灵活性：网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！

2024-05-14 17:57:55 767

原创 nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件(3)

1. 初始阶段：美国国家安全局的贡献NiFi 最初是由美国国家安全局（NSA）在2006年启动的一个项目，命名为“NiagaraFiles”。它的任务是应对NSA内部的庞大、异构的数据流，确保在不同系统和网络之间实现可靠、安全的数据传输。2. 开源化与进入 Apache 孵化器随着NSA对项目的发展和成熟，他们于2014年将NiagaraFiles捐赠给 Apache 软件基金会，使其成为了一个开源项目。项目进入 Apache 孵化器，并在孵化期间逐渐演变为一个强大的、可扩展的数据集成和流处理平台。

2024-05-14 17:57:19 1077

原创 nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件(2)

Apache NiFi 大数据组件具有许多优势，使其成为处理大规模数据流的强大工具。NiFi 提供了直观、可视化的用户界面，使用户能够通过图形方式设计和配置复杂的数据流程，降低了学习曲线，使得即便非专业的数据工程师也能轻松上手。NiFi 的架构允许用户方便地扩展和定制功能，支持插件式架构。用户可以根据需要集成新的处理器、报告任务和其他组件，以适应不同的数据处理需求。NiFi 具有灵活而强大的数据流控制能力，通过配置处理器和连接器，实现数据的动态路由、转换和过滤。

2024-05-14 17:56:43 937

原创 nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2024-05-14 17:56:06 928

原创 2024年最新Java工作一年半，第一次跳槽面试总结_java一年就跳(1)，妈妈再也不用担心我的面试

https://www.cnblogs.com/ysocean/tag/Java数据结构和算法/既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取需要这份系统化资料的朋友，可以戳这里获取。

2024-05-14 09:19:13 441

原创 2024年最新java实战，轻松理解魔法般的代理模式_java代理模式实战(2)，大厂大数据开发研发岗面试复盘

代理模式的定义：为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。其实代理模式是一种和编程语言无关的设计模式，但是二当家的只有java掌握的还行，所以还是限定在java范围吧。

2024-05-14 09:18:37 360

原创 2024年最新Java基础（二）基础语法之运算输入与控制语句，2024年最新离开小厂进大厂的第一周

参与操作的时候，如果放在变量的前边，先拿变量做++或者–，后拿变量参与操作。最常见的用法：单独使用。

2024-05-14 09:18:01 314

原创 2024年最新JAVA基础13-final与抽象类_final抽象类，2024年最新内含福利

abstract可以修饰的结构：类和方法abstract修饰的类：抽象类此类不能实例化抽象类中一定有构造器，便于子类实例化时调用提供抽象类的子类，让子类对象实例化，完成相关的操作abstract修饰的方法：抽象方法抽象方法只有方法的声明，没有方法体包含抽象方法的类，一定是一个抽象类（因为抽象方法不能外部调用）当子类重写了父类所有抽象方法后，方可实例化若子类没重写，那么子类也应该用abstract修饰成抽象类抽象类就不能实例化了s1.walk();

2024-05-14 09:17:25 459

原创 2024年大数据最新今日指数项目之Apache Avro介绍【五】，2024年最新淘汰了80%的大数据开发面试者

JSON是一种轻量级的数据传输格式，对于大数据集，JSON数据会显示力不从心，因为JSON的格式是key：value型，每条记录都要附上key的名字，有的时候，光key消耗的空间甚至会超过value所占空间，这对空间的浪费十分严重，尤其是对大型数据集来说，因为它不仅不够紧凑，还要重复地加上key信息，不仅会造成存储空间上的浪费，更会增加了数据传输的压力，从而给集群增加负担，进而影响整个集群的吞吐量。当其他因素是固定的，这里我们只考虑数据量的话，那么数据量的传输和存储性能是我们首先需要面对和解决的。

2024-05-14 00:39:33 422

原创 2024年大数据最新什么是数据分析报告，作用有哪些？_大数据分析报告的作用(1)，帮你解决90%的问题

数据分析报告应该清晰、准确、有逻辑性，并针对特定的受众群体。它帮助读者理解数据的含义、发现洞察，并基于分析结果做出决策或采取行动。

2024-05-14 00:38:57 910

原创 2024年大数据最新人工智能机器视觉、大数据与向量数据库的交融之路(3)，2024年最新2024大数据开发高级面试题汇总解答

随着科技的不断进步，计算机视觉（Computer Vision, CV）作为人工智能领域的关键技术之一，在大数据和新型数据结构的支持下展现出前所未有的活力与发展潜力。本文将深入探讨计算机视觉当前的发展现状与趋势，并以大数据与向量数据库为例，分析它们如何相互作用，推动CV技术在解决实际难题中的应用以及面临的机遇与挑战。，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2024-05-14 00:38:22 609

原创 2024年大数据最新两大数据库缓存系统实现对比_两大缓存(1)，2024-2024历年字节跳动大数据开发面试真题解析

* rehashing not in progress if rehashidx == -1 */ // 记录当前数据迁移的位置，在扩容的时候用的。/* number of iterators currently running */ // 目前存在的迭代器的数量。

2024-05-14 00:37:45 935

原创计算机视觉结合深度学习项目-智能停车场空车位实时识别_大厦智能停车场空余车位算法

做完检测之后，我们想要的是对于停车场的12列，我们对每一列都进行一个提取操作，比如我们得到12列之后，然后我们在对每一列分出具体的一个一个车位。这里面对检测到的霍夫直线继续做一个过滤的操作，如果直线的长度大于25，小于55，我们就添加到列表当中，并且设定一条直线的左右端点坐标的差值不能超过1.这样的直线我们通通过滤出来。这里我们就得到了一个停车场的大致轮廓，然后我们开始对停车场车位进行具体操作，首先我们先要检测一个停车场直线的操作，使用霍夫直线检测来做这个项目。这里是进行了一个边缘检测的结果。

2024-05-12 21:34:30 776

原创计算机网络：电路、报文与分组交换_电路交换和分组交换传送长度(1)

分组交换限制了每次传送的数据块大小的上限，把大的数据块划分为合理的小数据块，再加上一些必要的控制信息（如源地址、目的地址和编号信息等)，构成分组（Packet)。网络结点根据控制信息把分组送到下一个结点，下一个结点接收到分组后，暂时保存并排队等待传输，然后根据分组控制信息选择它的下一个结点，直到到达目的结点。在进行数据传输前，两个结点之间必须先建立一条专用（双方独占）的物理通信路径（由通信双方之间的交换设备和链路逐段连接而成)，该路径可能经过许多中间结点。注意，电路建立后，除源结点和目的结点外，

2024-05-12 21:33:55 389

原创计算机网络：数据链路层功能_对网络层而言,数据链路层的基本任务是将源机器中来自网络层的数据

数据链路层连接的建立、维持和释放过程称为链路管理，它主要用于面向连接的服务。链路两端的结点要进行通信，必须首先确认对方已处于就绪状态，并交换一些必要的信息以对帧序号初始化，然后才能建立连接，传输过程中维持连接，传输完毕后释放连接。在多个站点共享同一物理信道的情况下（如在局域网中）如何在要求通信的站点间分配和管理信道也属于数据链路层管理的范畴。

2024-05-12 21:33:19 298

原创计算机网络：数据链路层功能_对网络层而言,数据链路层的基本任务是将源机器中来自网络层的数据(3)

适用于实时通信或误码率较低的通信信道，如以太网。2.。源机器发送数据帧时不需先建立链路连接，但目的机器收到数据帧时必须发回确认。源机器在所规定的时间内未收到确定信号时，就重传丢失的帧，以提高传输的可靠性。该服务适用于误码率较高的通信信道，如无线通信。3.。帧传输过程分为三个阶段:建立数据链路、传输帧、释放数据链路。目的机器对收到的每帧都要给出确认，源机器收到确认后才能发送下一帧，因而该服务的可靠性最高。该服务适用于通信要求（可靠性、实时性）较高的场合。

2024-05-12 21:32:43 355

原创带你从零学大数据系列之数据库篇---第一章 MySQL基础_从零开始学习数据库

表与表之间的关系int：整型double：浮点型，例如double(5,2)：表示最多有5位，其中必须有两位是小数，即最大值是 999.99char：固定长度的字符串，例如char(5) : ‘aa’ 占5位varchar：可变长度的字符串，例如varchar(5)：‘aa’ 占2位text：字符串类型blob：字节类型date：日期类型，格式是：yyyy-MM-ddtime：时间类型，格式为：hh:mm:ss。

2024-05-12 04:24:15 864

原创带你从零学大数据系列之数据库篇---第一章 MySQL基础_从零开始学习数据库(2)

SQL: Structure Query Language（结构化查询语言），SQL最早是被美国国家标准局（ANSI）确定为关系型数据库语言的美国标准。SQL是一种标准化的语言，允许你在数据库上进行操作，如：创建项目、查询内容、更新内容和删除内容等操作。表：数据在数据库中的存储是以表的形式存在的。在进行数据的删除、修改、查询的时候，可以使用where对数据进行一个过滤。DML指的是对数据库中的数据进行增、删、改的操作。不要和DDL搞混了。各个数据库厂商在标准的基础上，定义了若干自己的扩展，类似于方言。

2024-05-12 04:23:39 834

空空如也

空空如也