主要介绍StreamSets中微服务数据流设计,以mysql的CRUD操作为例,来设计微服务数据流。
微服务在当前已经是非常流行的技术,将大型或复杂的系统进行模块拆分成功能单一、组织灵活的微服务,从而降低系统的耦合性,提高系统的灵活性、高可用性、运行高效性等。为此,Streamsets也提供了微服务简单、快速的开发方案,在设计微服务时,只需通过现有的插件任意组合就可以设计出简单或复杂的微服务。
(1)创建一个微服务数据流
(2)会生成一个微服务数据流模板
(3)下面对生成的模板进行改进,并运行
该数据流主要的关键组件有REST Service、HTTP Router、JDBC Lookup、JDBC Tee、Send Response to Origin。
REST Service组件:
该组件是微服务的关键组件,让微服务对外提供一个REST Ful API,需要配置端口、APP ID、线程数、最大请求数据大小等:
HTTP Router组件:
该组件设置Http的路由,根据前端请求的不同路径进行路由。
JDBC Lookup组件:
该组件用于数据查询,主要设置jdbc的连接串、mysql的连接用户名和密码、设置查询语句、设置结果返回的方式
使用jdbc需要上传相关数据库的连接驱动,目前支持mysql、oracle等等
生成查询语句sql
JDBC Tee组件:
该组件用于数据增加、修改、删除,主要设置jdbc的连接串、mysql的连接用户名和密码、数据操作类型
Send Response to Origin组件:
将数据返回到Origin组件,并设置状态码为200。
(4)微服务访问测试
curl -i -X GET http://localhost:8000/rest/v1/searchlist --header "X-SDC-APPLICATION-ID:microservice"
HTTP/1.1 200 OK
Date: Fri, 26 Jun 2020 09:20:06 GMT
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(9.4.12.v20180830)
{"httpStatusCode":200,"data":[{"id":1,"name":"小明","age":12,"sex":"男"}],"error":[]}
curl -i -X POST http://localhost:8000/rest/v1/add --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2,"name":"小花","age":16,"sex":"女"}'
HTTP/1.1 200 OK
Date: Fri, 26 Jun 2020 09:21:47 GMT
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(9.4.12.v20180830)
{"httpStatusCode":200,"data":[{}],"error":[]}
curl -i -X GET http://localhost:8000/rest/v1/searchlist --header "X-SDC-APPLICATION-ID:microservice"
HTTP/1.1 200 OK
Date: Fri, 26 Jun 2020 09:22:28 GMT
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(9.4.12.v20180830)
{"httpStatusCode":200,"data":[{"id":1,"name":"小明","age":12,"sex":"男"},{"id":2,"name":"小花","age":16,"sex":"女"}],"error":[]}
这次查询会看到新增了一条数据
curl -i -X POST http://localhost:8000/rest/v1/update --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2,"name":".花","age":26,"sex":"女"}'
HTTP/1.1 200 OK
Date: Fri, 26 Jun 2020 09:24:12 GMT
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(9.4.12.v20180830)
{"httpStatusCode":200,"data":[{}],"error":[]}
curl -i -X POST http://localhost:8000/rest/v1/findbyid --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2}'
HTTP/1.1 200 OK
Date: Fri, 26 Jun 2020 09:25:45 GMT
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(9.4.12.v20180830)
{"httpStatusCode":200,"data":[{"id":2,"name":"小花","age":26,"sex":"女"}],"error":[]}
附:
连接需要在库中创建数据库名为test3,表名为student_tb,建表语句:
CREATE TABLE `student_tb` (
`id` int(11) NOT NULL,
`name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`age` int(11) DEFAULT NULL,
`sex` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
Streamsets实战之路正在更新中,尽情期待!!!
此文章为博主原创,转载请标明出处和原始链接,谢谢。