Hudi on Flink 快速上手指南

最新推荐文章于 2023-09-06 16:12:26 发布
最新推荐文章于 2023-09-06 16:12:26 发布
阅读量599 收藏 1
点赞数
原文链接：https://developer.aliyun.com/article/783198?utm_content=g_1000257725
版权

简介： 本文由阿里巴巴的陈玉兆分享，主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。
摘要：本文由阿里巴巴的陈玉兆分享，主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。内容包括：

背景
环境准备
Batch 模式的读写
Streaming 读
总结
一、背景
Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics[1] 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景；AWS 在 EMR 服务中 预安装[2] 了 Apache Hudi，为用户提供高效的 record-level updates/deletes 和高效的数据查询管理；Uber [3]已经稳定运行 Apache Hudi 服务 4 年多，提供了低延迟的数据库同步和高效率的查询[4]。自 2016 年 8 月上线以来，数据湖存储规模已经超过 100PB[5]。

Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

Hudi 和 Fink 在 0.8.0 版本做了大量的集成工作[6]。核心的功能包括：

实现了新的 Flink streaming writer
支持 batch 和 streaming 模式 reader
支持 Flink SQL API
Flink streaming writer 通过 state 实现了高效的 index 方案，同时 Hudi 在 UPDATE/DELETE 上的优秀设计使得 Flink Hudi 成为当前最有潜力的 CDC 数据入湖方案，因为篇幅关系，将在后续的文章中介绍。

本文用 Flink SQL Client 来简单的演示通过 Flink SQL API 的方式实现 Hudi 表的操作，包括 batch 模式的读写和 streaming 模式的读。

二、环境准备
本文使用 Flink Sql Client[7] 作为演示工具，SQL CLI 可以比较方便地执行 SQL 的交互操作。

第一步：下载 Flink jar
Hudi 集成了 Flink 的 1.11 版本。您可以参考这里[8]来设置 Flink 环境。hudi-flink-bundle jar 是一个集成了 Flink 相关的 jar 的 uber jar, 目前推荐使用 scala 2.11 来编译。

第二步：设置 Flink 集群
启动一个 standalone 的 Flink 集群。启动之前，建议将 Flink 的集群配置设置如下：

在 $FLINK_HOME/conf/flink-conf.yaml 中添加配置项 taskmanager.numberOfTaskSlots: 4
在 $FLINK_HOME/conf/workers 中将条目 localhost 设置成 4 行，这里的行数代表了本地启动的 worker 数
启动集群：

HADOOP_HOME is your hadoop root directory after unpack the binary package.

export HADOOP_CLASSPATH=$HADOOP_HOME/bin/hadoop classpath

Start the flink standalone cluster

./bin/start-cluster.sh
第三步：启动 Flink SQL Client
Hudi 的 bundle jar 应该在 Sql Client 启动的时候加载到 CLASSPATH 中。您可以在路径 hudi-source-dir/packaging/hudi-flink-bundle 下手动编译 jar 包或者从 Apache Official Repository [9]下载。

启动 SQL CLI:

HADOOP_HOME is your hadoop root directory after unpack the binary package.

export HADOOP_CLASSPATH=$HADOOP_HOME/bin/hadoop classpath
./bin/sql-client.sh embedded -j …/hudi-flink-bundle_2.1?-..*.jar shell
备注：

推荐使用 hadoop 2.9.x+ 版本，因为一些对象存储（aliyun-oss）从这个版本开始支持
flink-parquet 和 flink-avro 已经被打进 hudi-flink-bundle jar
您也可以直接将 hudi-flink-bundle jar 拷贝到 $FLINK_HOME/lib 目录下
本文的存储选取了对象存储 aliyun-oss，为了方便，您也可以使用本地路径
演示的工作目录结构如下：

/Users/chenyuzhao/workspace/hudi-demo
/- flink-1.11.3
/- hadoop-2.9.2
三、Batch 模式的读写
插入数据
使用如下 DDL 语句创建 Hudi 表：

Flink SQL> create table t2(

uuid varchar(20),
name varchar(10),
age int,
ts timestamp(3),
partition varchar(20)
)
PARTITIONED BY (partition)
with (
‘connector’ = ‘hudi’,
‘path’ = ‘oss://vvr-daily/hudi/t2’
);
[INFO] Table has been created.
DDL 里申明了表的 path，record key 为默认值 uuid，pre-combine key 为默认值 ts 。

然后通过 VALUES 语句往表中插入数据：

Flink SQL> insert into t2 values

(‘id1’,‘Danny’,23,TIMESTAMP ‘1970-01-01 00:00:01’,‘par1’),
(‘id2’,‘Stephen’,33,TIMESTAMP ‘1970-01-01 00:00:02’,‘par1’),
(‘id3’,‘Julian’,53,TIMESTAMP ‘1970-01-01 00:00:03’,‘par2’),
(‘id4’,‘Fabian’,31,TIMESTAMP ‘1970-01-01 00:00:04’,‘par2’),
(‘id5’,‘Sophia’,18,TIMESTAMP ‘1970-01-01 00:00:05’,‘par3’),
(‘id6’,‘Emma’,20,TIMESTAMP ‘1970-01-01 00:00:06’,‘par3’),
(‘id7’,‘Bob’,44,TIMESTAMP ‘1970-01-01 00:00:07’,‘par4’),
(‘id8’,‘Han’,56,TIMESTAMP ‘1970-01-01 00:00:08’,‘par4’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 59f2e528d14061f23c552a7ebf9a76bd
这里看到 Flink 的作业已经成功提交到集群，可以本地打开 web UI 观察作业的执行情况：

image.png

查询数据
作业执行完成后，通过 SELECT 语句查询表结果：

Flink SQL> set execution.result-mode=tableau;
[INFO] Session property has been set.
Flink SQL> select * from t2;
±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
| + | id4 | Fabian | 31 | 1970-01-01T00:00:04 | par2 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
| + | id1 | Danny | 23 | 1970-01-01T00:00:01 | par1 |
| + | id2 | Stephen | 33 | 1970-01-01T00:00:02 | par1 |
| + | id5 | Sophia | 18 | 1970-01-01T00:00:05 | par3 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
±----±---------------------±---------------------±------------±------------------------±---------------------+
Received a total of 8 rows
这里执行语句 set execution.result-mode=tableau; 可以让查询结果直接输出到终端。

通过在 WHERE 子句中添加 partition 路径来裁剪 partition：

Flink SQL> select * from t2 where partition = ‘par1’;
±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id1 | Danny | 23 | 1970-01-01T00:00:01 | par1 |
| + | id2 | Stephen | 33 | 1970-01-01T00:00:02 | par1 |
±----±---------------------±---------------------±------------±------------------------±---------------------+
Received a total of 2 rows
更新数据
相同的 record key 的数据会自动覆盖，通过 INSERT 相同 key 的数据可以实现数据更新：

Flink SQL> insert into t2 values

(‘id1’,‘Danny’,24,TIMESTAMP ‘1970-01-01 00:00:01’,‘par1’),
(‘id2’,‘Stephen’,34,TIMESTAMP ‘1970-01-01 00:00:02’,‘par1’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 944de5a1ecbb7eeb4d1e9e748174fe4c
Flink SQL> select * from t2;
±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id1 | Danny | 24 | 1970-01-01T00:00:01 | par1 |
| + | id2 | Stephen | 34 | 1970-01-01T00:00:02 | par1 |
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
| + | id4 | Fabian | 31 | 1970-01-01T00:00:04 | par2 |
| + | id5 | Sophia | 18 | 1970-01-01T00:00:05 | par3 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
±----±---------------------±---------------------±------------±------------------------±---------------------+
Received a total of 8 rows
可以看到 uuid 为 id1 和 id2 的数据 age 字段值发生了更新。

再次 insert 新数据观察结果：

Flink SQL> insert into t2 values

(‘id4’,‘Fabian’,32,TIMESTAMP ‘1970-01-01 00:00:04’,‘par2’),
(‘id5’,‘Sophia’,19,TIMESTAMP ‘1970-01-01 00:00:05’,‘par3’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: fdeb7fd9f08808e66d77220f43075720
Flink SQL> select * from t2;
±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id5 | Sophia | 19 | 1970-01-01T00:00:05 | par3 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
| + | id4 | Fabian | 32 | 1970-01-01T00:00:04 | par2 |
| + | id1 | Danny | 24 | 1970-01-01T00:00:01 | par1 |
| + | id2 | Stephen | 34 | 1970-01-01T00:00:02 | par1 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
±----±---------------------±---------------------±------------±------------------------±---------------------+
Received a total of 8 rows
四、Streaming 读
通过如下语句创建一张新的表并注入数据：

Flink SQL> create table t1(

uuid varchar(20),
name varchar(10),
age int,
ts timestamp(3),
partition varchar(20)
)
PARTITIONED BY (partition)
with (
‘connector’ = ‘hudi’,
‘path’ = ‘oss://vvr-daily/hudi/t1’,
‘table.type’ = ‘MERGE_ON_READ’,
‘read.streaming.enabled’ = ‘true’,
‘read.streaming.check-interval’ = ‘4’
);
[INFO] Table has been created.
Flink SQL> insert into t1 values
(‘id1’,‘Danny’,23,TIMESTAMP ‘1970-01-01 00:00:01’,‘par1’),
(‘id2’,‘Stephen’,33,TIMESTAMP ‘1970-01-01 00:00:02’,‘par1’),
(‘id3’,‘Julian’,53,TIMESTAMP ‘1970-01-01 00:00:03’,‘par2’),
(‘id4’,‘Fabian’,31,TIMESTAMP ‘1970-01-01 00:00:04’,‘par2’),
(‘id5’,‘Sophia’,18,TIMESTAMP ‘1970-01-01 00:00:05’,‘par3’),
(‘id6’,‘Emma’,20,TIMESTAMP ‘1970-01-01 00:00:06’,‘par3’),
(‘id7’,‘Bob’,44,TIMESTAMP ‘1970-01-01 00:00:07’,‘par4’),
(‘id8’,‘Han’,56,TIMESTAMP ‘1970-01-01 00:00:08’,‘par4’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 9e1dcd37fd0f8ca77534c30c7d87be2c
这里将 table option read.streaming.enabled 设置为 true，表明通过 streaming 的方式读取表数据；opiton read.streaming.check-interval 指定了 source 监控新的 commits 的间隔为 4s；option table.type 设置表类型为 MERGE_ON_READ，目前只有 MERGE_ON_READ 表支持 streaming 读。

以上操作发生在一个 terminal 中，我们称之为 terminal_1。

从新的 terminal（我们称之为 terminal_2）再次启动 Sql Client，重新创建 t1 表并查询：

Flink SQL> set execution.result-mode=tableau;
[INFO] Session property has been set.
Flink SQL> create table t1(

uuid varchar(20),
name varchar(10),
age int,
ts timestamp(3),
partition varchar(20)
)
PARTITIONED BY (partition)
with (
‘connector’ = ‘hudi’,
‘path’ = ‘oss://vvr-daily/hudi/t1’,
‘table.type’ = ‘MERGE_ON_READ’,
‘read.streaming.enabled’ = ‘true’,
‘read.streaming.check-interval’ = ‘4’
);
[INFO] Table has been created.
Flink SQL> select * from t1;
2021-03-22 18:36:37,042 INFO org.apache.hadoop.conf.Configuration.deprecation [] - mapred.job.map.memory.mb is deprecated. Instead, use mapreduce.map.memory.mb
±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id2 | Stephen | 33 | 1970-01-01T00:00:02 | par1 |
| + | id1 | Danny | 23 | 1970-01-01T00:00:01 | par1 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
| + | id5 | Sophia | 18 | 1970-01-01T00:00:05 | par3 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id4 | Fabian | 31 | 1970-01-01T00:00:04 | par2 |
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
回到 terminal_1，继续执行 batch mode 的 INSERT 操作：

Flink SQL> insert into t1 values

(‘id1’,‘Danny’,27,TIMESTAMP ‘1970-01-01 00:00:01’,‘par1’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 2dad24e067b38bc48c3a8f84e793e08b
几秒之后，观察 terminal_2 的输出多了一行：

±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id2 | Stephen | 33 | 1970-01-01T00:00:02 | par1 |
| + | id1 | Danny | 23 | 1970-01-01T00:00:01 | par1 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
| + | id5 | Sophia | 18 | 1970-01-01T00:00:05 | par3 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id4 | Fabian | 31 | 1970-01-01T00:00:04 | par2 |
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
| + | id1 | Danny | 27 | 1970-01-01T00:00:01 | par1 |
再次在 terminal_1 中执行 INSERT 操作：

Flink SQL> insert into t1 values

(‘id4’,‘Fabian’,32,TIMESTAMP ‘1970-01-01 00:00:04’,‘par2’),
(‘id5’,‘Sophia’,19,TIMESTAMP ‘1970-01-01 00:00:05’,‘par3’);
[INFO] Submitting SQL update statement to the cluster…
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: ecafffda3d294a13b0a945feb9acc8a5
观察 terminal_2 的输出变化：

±----±---------------------±---------------------±------------±------------------------±---------------------+
| +/- | uuid | name | age | ts | partition |
±----±---------------------±---------------------±------------±------------------------±---------------------+
| + | id2 | Stephen | 33 | 1970-01-01T00:00:02 | par1 |
| + | id1 | Danny | 23 | 1970-01-01T00:00:01 | par1 |
| + | id6 | Emma | 20 | 1970-01-01T00:00:06 | par3 |
| + | id5 | Sophia | 18 | 1970-01-01T00:00:05 | par3 |
| + | id8 | Han | 56 | 1970-01-01T00:00:08 | par4 |
| + | id7 | Bob | 44 | 1970-01-01T00:00:07 | par4 |
| + | id4 | Fabian | 31 | 1970-01-01T00:00:04 | par2 |
| + | id3 | Julian | 53 | 1970-01-01T00:00:03 | par2 |
| + | id1 | Danny | 27 | 1970-01-01T00:00:01 | par1 |
| + | id5 | Sophia | 19 | 1970-01-01T00:00:05 | par3 |
| + | id4 | Fabian | 32 | 1970-01-01T00:00:04 | par2 |
五、总结
通过一些简单的演示，我们发现 HUDI Flink 的集成已经相对完善，读写路径均已覆盖，关于详细的配置，可以参考 Flink SQL Config Options[10]。

Hudi 社区正在积极的推动和 Flink 的深度集成，包括但不限于：

Flink streaming reader 支持 watermark，实现数据湖/仓的中间计算层 pipeline
Flink 基于 Hudi 的物化视图，实现分钟级的增量视图，服务于线上的近实时查询
也希望更多社区小伙伴能够参与到社区贡献中，更多数据湖技术交流可扫码加入社区钉钉交流群～

image.png

注释：
[1] https://www.alibabacloud.com/help/zh/product/70174.htm
[2]https://aws.amazon.com/cn/emr/features/hudi/
[3]https://www.uber.com/
[4]http://www.slideshare.net/vinothchandar/hadoop-strata-talk-uber-your-hadoop-has-arrived/32
[5]https://eng.uber.com/uber-big-data-platform/
[6]https://issues.apache.org/jira/browse/HUDI-1521
[7]https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/sqlClient.html
[8]https://flink.apache.org/downloads.html
[9]https://repo.maven.apache.org/maven2/org/apache/hudi/hudi-flink-bundle_2.11/
[10]https://hudi.apache.org/docs/configurations.html#flink-options

活动推荐：

仅需99元即可体验阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版！点击下方链接了解活动详情：https://www.aliyun.com/product/bigdata/sc?utm_content=g_1000250506

image.png

阿里云技术
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hudi learning.pdf
08-31
Hudi 学习资料
大数据hudi之集成spark:spark-shell 方式
weixin_43597208的博客
08-17 259
现在再次查询数据将显示更新的行程数据。查找以前提交中相同的_hoodie_record_keys在该表的_hoodie_commit_time、rider、driver字段中的变化。我们希望类似hive的 "insert overwrite "操作，以忽略现有数据，只用提供的新数据创建一个提交。注意：该表有三级分区（区域/国家/城市），在0.9.0版本以前的hudi，在load中的路径需要按照分区目录拼接"新增数据，生成一些数据，将其加载到DataFrame中，然后将DataFrame写入Hudi表。
数据湖Hudi.doc
10-14
数据湖资料
Apache Hudi简介、与Kudu、Hive、 HBase对比
热门推荐
.
11-15 1万+
数据实时处理和实时的数据 实时分为处理的实时和数据的实时 即席分析是要求对数据实时的处理，马上要得到对应的结果 Flink、Spark Streaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速 数据不实时，处理也不及时的场景则是我们的数仓T+1数据 而本文探讨的Apache Hudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的时候以近实时的方式映射到大数据平台，比如Hive中。 业务场景和技术选型 传统的离线数仓，通常数据是T+1的，不能满足对当日数据分析的需求
大数据hudi之集成flink:核心原理分析
weixin_43597208的博客
09-06 140
Hoodie 的数据去重分两步： （1）写入前攒 buffer 阶段去重，核心接口HoodieRecordPayload#preCombine （2）写入过程中去重，核心接口HoodieRecordPayload#combineAndGetUpdateValue。
MySQL-FlinkCDC-Hudi实时入湖
xiaoyixiao_的博客
07-30 1460
实时入湖
基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog
wupeihong的博客
03-29 1611
为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。flink使用sql client与hive的catalog打通，可以与hive共享元数据，使用sql client可操作hive中的表，实现批流一体；flink与hudi集成可以实现数据实时入湖；hudi与hive集成可以实现湖仓一体，用flink实时入湖，用spark跑批处理。由于方案中中采用的CDH6.3.2是官方最后的开源版本，而flink与hudi是社区近期发布的开源版，网上资料较少，特此分享
Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学
xiaoyixiao_的博客
06-11 3049
Hudi数据湖-Flink、Spark湖仓一体、实时入湖保姆级教学
Flink-1.13集成hudi-0.10.0
shy_snow的专栏
01-25 2389
把hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下即可从flink-sql客户端读写hudi表。 下面是完全参考hudi官网的示例 一、下载安装flink本地集群，并将hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下。 1.解压 tar -zxvf flink-1.13.3-bin-scala_2.12.tgz mv flink-1.13.3-bin-scala_2.12 flin.
Hudi on Flink在顺丰的实践应用.pdf
03-11
顺丰业务介绍、顺丰大数据业务全景图、顺丰IOT大数据应用全景图、顺丰科技大数据技术矩阵、顺丰数据应用架构、数据库实时化、Hudi数仓宽表方案、Flink替换Hive演进等
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Hudi集成Flink的编译jar包
01-18
Hudi集成Flink的编译jar包，在使用Flink将数据写入到Hudi时，需要手动将此包导入到Maven中，这样在代码中就能直接将数据写入到Hudi中了。 Hadoop版本：3.1.3 Flink版本：1.13.6 Scala版本：2.12 Hudi版本：0.12.0 ...
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
大学生创新创业训练计划经验分享.zip
04-25
大学生创新创业训练计划（以下简称为“大创计划”）是一项旨在提升大学生创新能力和创业精神的实践活动。通过这项计划，学生可以在导师的指导下，自主开展研究性学习和创业实践。下面我将分享一些关于大创计划的经验和建议。
node-v12.22.3-x86.msi
最新发布
04-25
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
毕业设计-The coding solutions of Leetcode and 剑指Offer using .zip
04-25
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份，质量非常高，如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、文件或源码，可以用于毕业设计、课程设计的应用、参考和学习需求，请放心下载。 祝愿你在这个毕业设计项目中取得巨大进步，顺利毕业！ 但还需强调一下，这些项目源码仅供学习和研究之用。在使用这些资源时，请务必遵守学术诚信原则和相关法律法规，不得将其用于任何商业目的或侵犯他人权益的行为。对于任何因使用本资源而导致的问题，包括但不限于数据丢失、系统崩溃或安全漏洞，风险自担哦！
【微信小程序毕业设计】宠物店商城系统开发项目(源码+演示视频+说明).rar
04-25
【微信小程序毕业设计】宠物店商城系统开发项目(源码+演示视频+说明).rar 【项目技术】 微信小程序开发工具+java后端+mysql 【演示视频-编号：282】 https://pan.quark.cn/s/cb634e7c02b5 【实现功能】 本系统实现的是和宠物相关的信息管理和发布，加入了商品销售的功能。操作角色为管理员和用户、商家，管理员的功能为用户管理、商家管理、宠物分类管理、宠物信息管理、商品分类管理、宠物用品管理、项目类型管理、服务项目管理、宠物日志管理、订单管理等；用户的功能为购买宠物、商品、预约服务发表日志管理订单等。商家功能为提供宠物、宠物用品、宠物服务，管理订单和服务预约等。
雷迪森的工具包（95分以上课程大作业）.zip
04-25
Java SSM项目是一种使用Java语言和SSM框架（Spring + Spring MVC + MyBatis）开发的Web应用程序。SSM是一种常用的Java开发框架组合，它结合了Spring框架、Spring MVC框架和MyBatis框架的优点，能够快速构建可靠、高效的企业级应用。 1. Spring框架：Spring是一个轻量级的Java开发框架，提供了丰富的功能和模块，用于开发企业级应用。它包括IoC（Inverse of Control，控制反转）容器、AOP（Aspect-Oriented Programming，面向切面编程）等特性，可以简化开发过程、提高代码的可维护性和可测试性。 2. Spring MVC框架：Spring MVC是基于Spring框架的Web框架，用于开发Web应用程序。它采用MVC（Model-View-Controller，模型-视图-控制器）的架构模式，将应用程序分为模型层、视图层和控制器层，提供了处理请求、渲染视图和管理流程的功能。 3. MyBatis框架：MyBatis是一个持久层框架，用于与数据库进行交互。它提供了一种将数据库操作与Java对象映射起来的方式，避免了手动编写繁琐的SQL语句，并提供了事务管理和缓存等功能，简化了数据库访问的过程
Hudi on flink
01-26
Hudi on Flink是一种将Hudi与Flink结合使用的解决方案，它提供了一种实时化宽表数据的方法。Hudi是一种用于增量数据处理和实时数据湖建设的开源框架，而Flink是一种用于流式数据处理的开源框架。 Hudi on Flink的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值