- 博客(244)
- 收藏
- 关注
RSS订阅原创 猿创征文｜实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端
经过前期阅读代码发现，如果要实现我们的功能，修改增加或修改的代码存在于resultMapresultMap“all”getName。
2024-05-16 11:24:00
431
原创 猿创征文｜实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(4)
【代码】猿创征文｜实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(4)
2024-05-16 11:23:27
578
原创 猿创征文｜实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(3)
表数据增、删、改、查操作等功能。为了使用人员在查询时更加方便，应该将 DataStudio 的功能进行改进，把 sql 输入联想功能进行优化，把当前字联想改为表结构联想，并且为了方便操作数据库时更加方便，添加选择“all”时自动填充所有表结构。增加一个“all”的选项，当我们选择该字段后，会将该数据库表中所有的列按照id大小将所有的列展示出来。通过输入的字符串进行切割，判断该值属于哪一范围，如果属于表并且以英文句号结尾的字符串或者以insert into 表名开头并以英文“(”结尾那么就会通过。
2024-05-16 11:22:54
603
原创 猿创征文｜实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(2)
DataStudio 是openGauss 的官方客户端工具，提供可视化管理 openGauss 数据库；支持管理和创建数据库、模式、表等各类数据库对象；执行SQL语句或脚本，高效进行sql开发；创建和执行sql语句，支持存储过程调试；表数据增、删、改、查操作等功能。Sql 的可视化客户端大大减少了开发人员的开发时间成本，具备简单、安全、逻辑数据独立性等优点。
2024-05-16 11:22:20
484
原创 最全一篇文章搞懂数据仓库：数据仓库规范设计，数据结构与算法面试题
这里加上表名，是为了防止自由发挥的时候表名冲突，而末尾大家可以选择自由发挥，起一些有意义的名字，或者简单粗暴，使用数字代替，各有优劣吧，谨慎选择。中间表一般出现在Job中，是Job中临时存储的中间数据的表，中间表的作用域只限于当前Job执行过程中，Job一旦执行完成，该中间表的使命就完成了，是可以删除的（按照自己公司的场景自由选择，以前公司会保留几天的中间表数据，用来排查问题）。临时表是临时测试的表，是临时使用一次的表，就是暂时保存下数据看看，后续一般不再使用的表，是可以随时删除的表。
2024-05-16 03:35:58
516
原创 最全一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比(1)，复习指南
开发和维护的复杂性问题：Lambda 架构需要在两个不同的 API（application programming interface，应用程序编程接口）中对同样的业务逻辑进行两次编程：一次为批量计算的ETL系统，一次为流式计算的Streaming系统。实时与批量计算结果不一致引起的数据口径问题：因为批量和实时计算走的是两个计算框架和计算程序，算出的结果往往不同，经常看到一个数字当天看是一个数据，第二天看昨天的数据反而发生了变化。当新的实例做完后，停止老的流计算实例，并把老的一些结果删除。
2024-05-16 03:35:25
349
原创 最全一篇文章搞懂数据仓库：总线架构、一致性维度、一致性事实，2024年最新高级大数据开发开发面试题
一致性维度的范围是总线架构中的维度，即可能会在多个数据集市中都存在的维度，这个范围的选取需要架构师来决定。在同一个集市内，一致性维度的意思是两个维度如果有关系，要么就是完全一样的，要么就是一个维度在数学意义上是另一个维度的子集。例如，如果建立月维度话，月维度的各种描述必须与日期维度中的完全一致，最常用的做法就是在日期维度上建立视图生成月维度。在多维体系结构中，所有的这些基于星型机构来建立的数据集市可以在物理上存在于一个数据库实例中，也可以分散在不同的机器上，而所有这些数据集市的集合组成的分布式的数据仓库。
2024-05-16 03:34:52
773
原创 最全一篇文章搞懂数据仓库：总线架构、一致性维度、一致性事实(1)，程序人生
一致性维度的范围是总线架构中的维度，即可能会在多个数据集市中都存在的维度，这个范围的选取需要架构师来决定。在同一个集市内，一致性维度的意思是两个维度如果有关系，要么就是完全一样的，要么就是一个维度在数学意义上是另一个维度的子集。例如，如果建立月维度话，月维度的各种描述必须与日期维度中的完全一致，最常用的做法就是在日期维度上建立视图生成月维度。在多维体系结构中，所有的这些基于星型机构来建立的数据集市可以在物理上存在于一个数据库实例中，也可以分散在不同的机器上，而所有这些数据集市的集合组成的分布式的数据仓库。
2024-05-16 03:34:20
541
原创 大数据最新【Flink】（十一）Flink CEP 入门_flink cep模式 快速入门(2)，驱动核心源码详解和Binder超系统学习资源
市场上有多种 CEP 的解决方案，例如 Spark、Samza、Beam 等，但他们都没有提供专门的 library 支持。但是 Flink 提供了专门的 CEP library。
2024-05-15 18:47:52
414
原创 大数据最新【Elasticsearch 7，致大数据开发开发者
(4)进入kibana中，选择快照点击Restore进行恢复。(5)取消全部勾选，只勾选业务索引数据，es、kibana自身的索引数据视情况恢复。后续一直点击next，恢复数据即可，恢复完成后验证数量和分词搜索结果。
2024-05-15 18:47:19
377
原创 大数据最新【Elasticsearch 7(1)，2024年最新已拿offer
(5)取消全部勾选，只勾选业务索引数据，es、kibana自身的索引数据视情况恢复。后续一直点击next，恢复数据即可，恢复完成后验证数量和分词搜索结果。
2024-05-15 18:46:46
441
原创 大数据最新【Docker】docker日常工作总结（Dockerfile语法、编写规则，2024年最新最新2024年大数据开发大厂面试经验
COPY fun.py /myapp/：将fun.py文件复制到myapp目录下。
2024-05-15 18:46:13
322
原创 凯哥带你从零学大数据系列之Java篇---第二十六章 IO流详解_jdkio流
/ 如果需要以指定的字符集进行文件的读取，需要使用 InputStreamReader(InputStream inputStream, String charsetName)(img-TntHe5Xf-1715730234856)]// PrintStream: 是一个打印流，可以将数据输出到指定位置。// 当前的项目是 utf-8, 读取的文件是 GBK。// 1. 实例化一个Properties对象。// 实例化一个Person对象。// 重定向标准输出流。// 读取文件中的数据。
2024-05-15 07:44:17
825
原创 凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解(2)
如果你的程序只需要考虑部署在windows平台， 那么只需要按照windows的规范书写就可以；但是， 如果你的程序需要考虑在不同的平台上部署运行， 此时就需要使用以下方法进行分隔符的获取。理论上来讲， 在windows中， 应该使用\作为目录分隔符。**绝对路径：**从磁盘的根目录开始， 一层层的向下查找， 直到找到这个文件。在不同的操作系统中， 目录分隔符是不一样的。在windows中， 使用。在不同的操作系统中， 路径分隔符是不一样的。分隔开一个路径中的不同的文件夹， 用来描述层级关系、 包含关系。
2024-05-15 07:43:41
621
原创 凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解(1)
如果你的程序只需要考虑部署在windows平台， 那么只需要按照windows的规范书写就可以；如果你的程序只需要部署到linux上， 那么只需要按照linux的规范书写就可以。但是， 如果你的程序需要考虑在不同的平台上部署运行， 此时就需要使用以下方法进行分隔符的获取。理论上来讲， 在windows中， 应该使用\作为目录分隔符。在不同的操作系统中， 目录分隔符是不一样的。在不同的操作系统中， 路径分隔符是不一样的。分隔开一个路径中的不同的文件夹， 用来描述层级关系、 包含关系。
2024-05-15 07:43:05
503
原创 【HTML③】JavaScript基础、使用JavaScript制作网页特效、使用前端库及UI框架快速开发_javascript网站制作(1)
a.数据类型，JavaScript属于弱类型语言，在JS中没有明确的数据类型表示，它根据变量的值自动确定数据类型;//java中对每个变量都有明确的类型定义//js中变量的定义,是根据值来确定类型的JavaScript中分三种类型表示所有数据:(1)number类型(int,float,double)(2)string类型(字符、字符串)(3)boolean逻辑类型(true,false)使用typeof（变量）函数可以检测一个变量的数据类型b.变量的声明及使用。
2024-05-14 23:02:37
949
原创 【HTML CSS JS】耗时一下午，整理出了一个精美的响应式登陆注册表单（附源码
本文花费大量时间介绍了如何创建一个响应式布局的精美注册表单代码，希望能帮助到各位小伙伴，码文不易，还望各位大佬们多多支持哦，你们的支持是我最大的动力！✨原创不易，还希望各位大佬支持一下\textcolor{blue}{原创不易，还希望各位大佬支持一下}原创不易，还希望各位大佬支持一下👍⭐️✏️网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-14 23:02:02
1115
原创 【Hive】（四）Hive DDL 数据定义语言详解_hive中不属于ddl语言(1)
2．字段解释说明（1）CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。（2）EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。
2024-05-14 23:01:26
982
原创 【Hive】（十四）Hive 项目实战之电子商务消费行为分析_hive项目实战
Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！😁数据结构数据清洗基于Hive的数据分析这里通过UDF自定义 MD5加密函数 ，对地址、邮箱等信息进行加密。-- md5 udf自定义加密函数Clean and Mask customer_details 创建明细表。
2024-05-14 23:00:49
721
原创 2024春招面试题：Java并发相关知识_threadlocal经典的应 场景就是连接管理
同步处理的流程容易发生阻塞，可以用线程来实现异步处理，提高程序处理实时性线程可以认为是轻量级的进程，所以线程的创建、销毁 比进程更快 （性能开销更小）
2024-05-14 13:43:10
634
原创 2024春招面试题：Java并发相关知识_threadlocal经典的应 场景就是连接管理(1)
由于JVM运行程序的实体是线程，创建每个线程时，java 内存模型会为其创建一个工作内存（我们一般称为栈），工作内存是每个线程的私有数据区域。Java内存模型规定所有变量都存储在主内存，主内存是共享内存区域，所有线程都可以访问。但线程对变量的操作（读取、赋值等）必须在工作内存中进行。因此首先要将变量从主内存拷贝到自己的工作内存，然后对变量进行操作，操作完成后再将变量写会主内存中。
2024-05-14 13:42:34
898
原创 2024新版Git教程 从入门到实战（四）Git远程仓库Gitee的使用_vs git远程
注意最下面的一行内容，这个就是代表本地分支和远程分支绑定起来。
2024-05-14 13:41:58
727
原创 2024新版Git教程 从入门到实战（四）Git远程仓库Gitee的使用_vs git远程(1)
它也会列出拉取到的所有远程引用。上面我们用的是https协议，因为码云在国内所以使用https协议的速度还是很快的，但是如果要使用Github在使用https协议的就对网络的要求比较高，很容易出现超时的情况，使用ssh协议连接速度会快一些。协议的链接，则在推送的时候会出一个弹窗，让你输入用户名和密码，这里的用户名和密码是码云的用户名和密码，主要是用来让网站验证你的身份。参数，Git不但会把本地的分支内容推送的远程新的分支，还会把本地的分支和远程的分支关联起来，在以后的推送或者拉取时就可以简化命令。
2024-05-14 13:41:20
997
原创 2024年最全Spark-3，2024年最新建议细读
例如，如果逻辑名称是。Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。这个文件的修改不是必须的, 为什么修改为 WARN，因为 Spark 是个话痨会疯狂输出日志，设置级别为 WARN 只输出警告和错误日志，不要输出一堆废话。不同的是，这个解释器环境 运行的不是python代码，而是 scala 程序代码。
2024-05-14 05:05:04
998
原创 2024年最全Spark-3(5)，大数据开发面试题及答案
由于我的集群是高可用（HA）的，建议使用逻辑名称（Logical URI）而非具体的 Namenode 主机名和端口。Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。bin/pyspark 程序，可以提供一个交互式的 Python 解释器环境，在这里面可以写普通 python 代码，以及 spark 代码。
2024-05-14 05:04:28
1020
原创 2024年最全Spark-3(2)，大数据开发 400道面试题通关宝典助你进大厂
由于我的集群是高可用（HA）的，建议使用逻辑名称（Logical URI）而非具体的 Namenode 主机名和端口。Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。bin/pyspark 程序，可以提供一个交互式的 Python 解释器环境，在这里面可以写普通 python 代码，以及 spark 代码。
2024-05-14 05:03:52
796
原创 2024年最全RocketMQ 原理介绍及详细安装教程_rockmq(4)，源码解析
Apache RocketMQ 是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。Apache RocketMQ 产品具备异步通信的优势，系统拓扑简单、上下游耦合较弱，主要应用于异步解耦，流量削峰填谷等场景。分布式系统架构思想下，将复杂系统拆分为多个独立的子模块，例如微服务模块。一种是同步的RPC远程调用同步RPC调用模型下，不同系统之间直接进行调用通信，每个请求直接从调用方发送到被调用方，然后要求被调用方立即返回响应结果给调用方，以确定本次调用结果是否成功。
2024-05-14 05:03:14
892
原创 2024年大数据最全大数据物流项目：概述及Docker入门（一）_物流大数据项目，今天带你详细了解各组件原理
即席查询，即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。 在实际项目开发中，除了依据业务开发应用（实时ETL数据转换、报表分析、即席查询等）之外，比如集群规模、业务数据量、开发团队人员配置等等。任何一个大数据项目，首先数据流转图：项目数据从哪里来的，存储到哪里去，进行什么应用分析。在神策数据产品中，用户自定义查询，就是所说的即席查询，底层使用Impala分析引擎。即席查询，在大数据领域中，比较普遍需求，随时依据用户的需求，查询分析海量数据。
2024-05-13 20:16:42
1156
1
原创 2024年大数据最全大数据测试：构建Hadoop和Spark分布式HA运行环境！(2)，2024国内知名大厂大数据开发岗面经
测试Hadoop的HA配置，模拟不同类型的故障，例如NameNode故障或ResourceManager故障，以确 保HA配置正常运行。与Hadoop类似，您需要准备一个Spark集群，确保各个组件正常运行，包括Spark Master和Spark Worker。测试Spark的HA配置，模拟不同类型的故障，例如主Master故障或备用Master故障，以确保HA配置正 常运行。在HA环境中，数据一致性是一个重要的问题。在Hadoop和Spark配置中使用共享存储，以确保数据在主节点和备用节点之间的同步。
2024-05-13 20:16:06
756
原创 2024年大数据最全大数据测试学习笔记之基准测试HiBench_hibench worldcount，2024年最新大数据开发开发两年
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Machine Learning基准。Websearch基准。Streaming基准。
2024-05-13 20:15:31
754
原创 2024年大数据最全大数据技术栈详解，2024年最新我把所有大数据开发框架整理成了PDF
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！一个人可以走的很快，但一群人才能走的更远！
2024-05-13 20:14:55
1176
原创 2024年医学图像分割 3D nnUNet全流程快速实现_医学图像分割步骤，2024年最新大数据开发开发避坑指南
splits_file = r’*/DATASET/nnUNet_preprocessed/Task101_PC/splits_final.pkl’ # 保存在预处理结果那里。# nnunet文件夹文件名，nnUNet通过_0000和_0001这种形式分辨多模态输入。# 预处理文件夹下文件名，我这里有两种数据模态PET/CT，以及一个分割标签mask。data_folder = r’*’ # 个人数据集的文件夹路径。# nnunet文件夹文件名。# 预处理文件夹下文件名。# 获取想要的分折的结果。
2024-05-13 14:42:48
1148
原创 2024年助力工业物联网，工业大数据之油站事实指标需求分析【十九】，2024年最新1307页阿里大数据开发面试全套真题解析在互联网火了
【代码】2024年助力工业物联网，工业大数据之油站事实指标需求分析【十九】，2024年最新1307页阿里大数据开发面试全套真题解析在互联网火了。
2024-05-13 14:42:12
838
原创 2024年助力工业物联网，工业大数据之服务域：项目总结【三十九】，2024年最新大数据开发开发社招面试经验
目标掌握一站制造的项目的业务流程和数据来源路径step1：业务流程step2：数据来源实施业务流程- step1：加油站服务商联系呼叫中心，**申请服务**：安装/巡检/维修/改造加油机* 呼叫中心会记录这个申请信息：来电受理事务事实表- step2：呼叫中心联系对应服务站点，**分派工单**：联系站点主管，站点主管分配服务人员* 工单信息记录在：服务单信息表、工单信息表- step3：服务人员**确认工单**和加油站点信息* 具体工单信息表：安装单、维修单。
2024-05-13 14:41:37
935
原创 2024年助力工业物联网，工业大数据之业务系统结构【三】(2)，2024年最新大数据开发岗面试必问
可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-05-13 14:40:59
454
原创 最新大数据技术与应用（Spark）(3)，大数据开发面试题2024笔试
Spark Streaming 是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如 Kafka、Flume、Twitter、Zero 和 TCP 套接字）进行类似 map、reduce 和 join 的复杂操作，并将结果保存到外部文件系统、数据库中，或应用到实时仪表盘上。Spark Streaming 的核心思想是将流式计算分解成一系列短小的批处理作业，这里的批处理引擎是 Spark Core。
2024-05-12 17:20:02
691
原创 最新大数据开发项目-电信项目1-生产数据，2024年最新大数据开发开发视频教程
phoneNameMap.put(“18549641558”, “施梅梅”);phoneNameMap.put(“17005930322”, “金虹霖”);phoneNameMap.put(“15978226424”, “华啟倩”);phoneNameMap.put(“15542823911”, “仲采绿”);phoneNameMap.put(“15422018558”, “戚丽红”);phoneNameMap.put(“17269452013”, “何翠柔”);
2024-05-12 17:19:26
719
原创 最新大数据开发项目-电信项目1-生产数据(3)，2024年最新2024我对大数据开发-view的3条认识
phoneNameMap.put(“18549641558”, “施梅梅”);phoneNameMap.put(“17005930322”, “金虹霖”);phoneNameMap.put(“15978226424”, “华啟倩”);phoneNameMap.put(“15542823911”, “仲采绿”);phoneNameMap.put(“15422018558”, “戚丽红”);phoneNameMap.put(“17269452013”, “何翠柔”);
2024-05-12 17:18:50
375
原创 最新大数据开发简历模版_大数据开发社招简历模板(3)，5分钟搞定
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图
2024-05-12 17:18:14
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人