智能微服务的设计与开发（node.js）

最新推荐文章于 2023-04-25 16:11:02 发布
最新推荐文章于 2023-04-25 16:11:02 发布
阅读量117 收藏
点赞数
文章标签： 数据库 json 后端
原文链接：https://segmentfault.com/a/1190000017041045
版权

设计目标

基于koa2、关系数据库（暂时只支持mysql）建立的智能微服务快速开发框架，将同时支持graphql与rest标准，使用typescript语言编写，力求安全、高效。

相关开源项目（gels -- 凝胶），希冀该项目能成为联结设计、开发，前端、后端的“强力胶水”，成为微服务快速开发的有力框架。
项目地址：https://github.com/zhoutk/gels

设计思路

中小型企业，更多的是注重快速开发、功能迭代。关系数据库为我们提供了很多有用的支持，我试图把数据库设计与程序开发有机的结合起来，让前端送到后端的json对象自动映射成为标准的SQL查询语句。我的这种ORM方式，服务端不需要写一行代码，只需完成关系数据库的设计，就能为前端提供标准服务接口。
我设计了一套数据库访问标准接口，在实践中已经得到很好的运用。我已经在es6, typescript, java, python & go中实现；下一步是对数据库支持的扩展，准备支持流行的关系数据库（Mssql, sqlite3, prostgres等），有选择支持一些nosql，比如：mongo。

数据库接口设计

  • 事务元素接口，sql参数用于手动书写sql语句，id会作为最后一个参数被送入参数数组。

    export default interface TransElement {
    table: string;
    method: string;
    params: object | Array<any>;
    sql?: string;
    id?: string | number;
}

  • 数据库操作接口，包括基本CURD，两个执行手写sql接口，一个批量插入与更新二合一接口，一个事务操作接口。实践证明，下面八个接口，在绝大部分情况下已经足够。

    export default interface IDao {
    select(tablename: string, params: object, fields?: Array<string>): Promise<any>;
    insert(tablename: string, params: object): Promise<any>;
    update(tablename: string, params: object, id: string|number): Promise<any>;
    delete(tablename: string, id: string|number): Promise<any>;
    querySql(sql: string, values: Array<any>, params: object, fields?: Array<string>): Promise<any>;
    execSql(sql: string, values: Array<any>): Promise<any>;
    insertBatch(tablename: string, elements: Array<any>): Promise<any>;
    transGo(elements: Array<TransElement>, isAsync?: boolean): Promise<any>;
}

  • BaseDao，为业务层提供标准数据库访问的基类，是自动提供标准rest微服务的关键

    import IDao from './idao'
let dialect = G.CONFIGS.db_dialect                    //依赖注入
let Dao = require(`./${dialect}Dao`).default    

export default class BaseDao {
    private table: string
    static dao: IDao                               //以组合的模式，解耦业务层与数据库访问层
    constructor(table?: string) {
        this.table = table || ''
        if (!BaseDao.dao) {
            BaseDao.dao = new Dao()
        }
    }
    async retrieve(params = {}, fields = [], session = {userid: ''}): Promise<any> {
        let rs
        try {
            rs = await BaseDao.dao.select(this.table, params, fields)
        } catch (err) {
            err.message = `data query fail: ${err.message}`
            return err
        }
        return rs
    }
    async create(params = {}, fields = [], session = {userid: ''}): Promise<any> {
        let rs
        try {
            rs = await BaseDao.dao.insert(this.table, params)
        } catch (err) {
            err.message = `data insert fail: ${err.message}`
            return err
        }
        let { affectedRows } = rs
        return G.jsResponse(200, 'data insert success.', { affectedRows, id: rs.insertId })
    }
    async update(params, fields = [], session = { userid: '' }): Promise<any> {
        params = params || {}
        const { id, ...restParams } = params
        let rs
        try {
            rs = await BaseDao.dao.update(this.table, restParams, id)
        } catch (err) {
            err.message = `data update fail: ${err.message}`
            return err
        }
        let { affectedRows } = rs
        return G.jsResponse(200, 'data update success.', { affectedRows, id })
    }
    async delete(params = {}, fields = [], session = {userid: ''}): Promise<any> {
        let id = params['id']
        let rs
        try {
            rs = await BaseDao.dao.delete(this.table, id)
        } catch (err) {
            err.message = `data delete fail: ${err.message}`
            return err
        }
        let {affectedRows} = rs
        return G.jsResponse(200, 'data delete success.', { affectedRows, id })
    }
}

默认路由

  • /op/:command，只支持POST请求，不鉴权，提供登录等特定服务支持

    • login，登录接口；输入参数{username, password}；登录成功返回参数：{status:200, token}
  • /rs/:table[/:id]，支持四种restful请求，GET, POST, PUT, DELELTE，除GET外，其它请求检测是否授权

中间件

  • globalError，全局错误处理中间件
  • router，路由中间件
  • logger，日志，集成log4js，输出系统日志

  • session，使用jsonwebtoken，实现鉴权；同时，为通过的鉴权的用户生成对应的session

    • 用户登录成功后得到的token，在以后的ajax调用时，需要在header头中加入token key

restful_api

数据表库设计完成后，会自动提供如下形式的标准restful api，多表关系可用关系数据库的视图来完成。

  • [GET] /rs/users[?key=value&...], 列表查询，支持各种智能查询
  • [GET] /rs/users/{id}, 单条查询
  • [POST] /rs/users, 新增记录
  • [PUT] /rs/users/{id}, 修改记录
  • [DELETE] /rs/users/{id}, 删除记录

智能查询

查询保留字：fields, page, size, sort, search, lks, ins, ors, count, sum, group

  • fields, 定义查询结果字段，支持数组和逗号分隔字符串两种形式

    查询示例：  /rs/users?username=white&age=22&fields=["username","age"]
生成sql：   SELECT username,age FROM users  WHERE username = ?  and age = ?
  • page, 分页参数，第几页
  • size, 分页参数，每页行数

  • sort, 查询结果排序参数

    查询示例：  /rs/users?page=1&size=10&sort=age desc
生成sql：   SELECT * FROM users  ORDER BY age desc LIMIT 0,10

  • search, 模糊查询切换参数，不提供时为精确匹配

    查询示例：  /rs/users?username=i&password=1&search
生成sql：   SELECT * FROM users  WHERE username like ?  and password like ?

  • ins, 数据库表单字段in查询，一字段对多个值，例：

    查询示例：  /rs/users?ins=["age",11,22,26]
生成sql：   SELECT * FROM users  WHERE age in ( ? )

  • ors, 数据库表多字段精确查询，or连接，多个字段对多个值，支持null值查询，例：

    查询示例：  /rs/users?ors=["age",1,"age",22,"password",null]
生成sql：   SELECT * FROM users  WHERE  ( age = ?  or age = ?  or password is null )

  • lks, 数据库表多字段模糊查询，or连接，多个字段对多个值，支持null值查询，例：

    查询示例：  /rs/users?lks=["username","i","password",null]
生成sql：   SELECT * FROM users  WHERE  ( username like ?  or password is null  )

  • count, 数据库查询函数count，行统计，例：

    查询示例：  /rs/users?count=["1","total"]&fields=["username"]
生成sql：   SELECT username,count(1) as total  FROM users

  • sum, 数据库查询函数sum，字段求和，例：

    查询示例：  /rs/users?sum=["age","ageSum"]&fields=["username"]
生成sql：   SELECT username,sum(age) as ageSum  FROM users

  • group, 数据库分组函数group，例：

    查询示例：  /rs/users?group=age&count=["*","total"]&fields=["age"]
生成sql：   SELECT age,count(*) as total  FROM users  GROUP BY age
不等操作符查询支持

支持的不等操作符有：>, >=, <, <=, <>, =；逗号符为分隔符，一个字段支持一或二个操作。
特殊处：使用"="可以使某个字段跳过search影响，让模糊匹配与精确匹配同时出现在一个查询语句中

  • 一个字段一个操作，示例：

    查询示例：  /rs/users?age=>,10
生成sql：   SELECT * FROM users  WHERE age> ?

  • 一个字段二个操作，示例：

    查询示例：  /rs/users?age=>,10,<=,35
生成sql：   SELECT * FROM users  WHERE age> ? and age<= ?

  • 使用"="去除字段的search影响，示例：

    查询示例：  /rs/users?age==,22&username=i&search
生成sql：   SELECT * FROM users  WHERE age= ?  and username like ?

高级操作

  • 新增一条记录

    • url
        [POST]/rs/users
    • header
        Content-Type: application/json
    token: eyJhbGciOiJIUzI1NiIsInR...
    • 输入参数
        {
        "username":"bill",
        "password":"abcd",
        "age":46,
        "power": "[\"admin\",\"data\"]"
    }
    • 返回参数
        {
        "affectedRows": 1,
        "id": 7,
        "status": 200,
        "message": "data insert success."
    }

  • execSql执行手写sql语句，供后端内部调用

    • 使用示例
        await new BaseDao().execSql("update users set username = ?, age = ? where id = ? ", ["gels","99","6"])
    • 返回参数
        {
        "affectedRows": 1,
        "status": 200,
        "message": "data execSql success."
    }

  • insertBatch批量插入与更新二合一接口，供后端内部调用

    • 使用示例
        let params = [
                    {
                        "username":"bill2",
                        "password":"523",
                        "age":4
                    },
                    {
                        "username":"bill3",
                        "password":"4",
                        "age":44
                    },
                    {
                        "username":"bill6",
                        "password":"46",
                        "age":46
                    }
                ]
    await new BaseDao().insertBatch('users', params)
    • 返回参数
        {
        "affectedRows": 3,
        "status": 200,
        "message": "data batch success."
    }

  • tranGo事务处理接口，供后端内部调用

    • 使用示例
        let trs = [
                {
                    table: 'users',
                    method: 'Insert',
                    params: {
                        username: 'zhou1',
                        password: '1',
                        age: 1
                    }
                },
                {
                    table: 'users',
                    method: 'Insert',
                    params: {
                        username: 'zhou2',
                        password: '2',
                        age: 2
                    }
                },
                {
                    table: 'users',
                    method: 'Insert',
                    params: {
                        username: 'zhou3',
                        password: '3',
                        age: 3
                    }
                }
            ]
    await new BaseDao().transGo(trs, true)          //true，异步执行；false,同步执行
    • 返回参数
        {
        "affectedRows": 3,
        "status": 200,
        "message": "data trans success."
    }

安装运行

  • 运行数据脚本

    SET NAMES utf8;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
--  Table structure for `users`
-- ----------------------------
DROP TABLE IF EXISTS `users`;
CREATE TABLE `users` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(255) DEFAULT NULL,
`password` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
`power` json DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4;

-- ----------------------------
--  Records of `users`
-- ----------------------------
BEGIN;
INSERT INTO `users` VALUES ('1', 'white', '123', '22', null), ('2', 'john', '456i', '25', null), ('3', 'marry', null, '22', null), ('4', 'bill', '123', '11', null), ('5', 'alice', '122', '16', null), ('6', 'zhoutk', '123456', '26', null);
COMMIT;

SET FOREIGN_KEY_CHECKS = 1;

  • 配置文件示例，./src/config/configs.ts

    export default {
    inits: {
        directory: {
            run: false,
            dirs: ['public/upload', 'public/temp']
        }
    },
    port: 5000,
    db_dialect: 'mysql',
    dbconfig: {
        db_host: 'localhost',
        db_port: 3306,
        db_name: 'strest',
        db_user: 'root',
        db_pass: '123456',
        db_char: 'utf8mb4',
        db_conn: 10,
    },
    jwt: {
        secret: 'zh-tf2Gp4SFU>a4bh_$3#46d0e85W10aGMkE5xKQ',
        expires_max: 36000      //10小时，单位：秒
    },
}

  • 在终端（Terminal）中依次运行如下命令

    git clone https://github.com/zhoutk/gels
cd gels
npm i -g yarn
yarn global install typescript tslint nodemon
yarn install
tsc -w          //或 command + shift + B，选 tsc:监视
yarn start      //或 node ./dist/index.js

项目结构

├── package.json
├── src                              //源代码目录
│   ├── app.ts                       //koa配置及启动
│   ├── common                       //通用函数或元素目录
│   │   ├── globUtils.ts             
│   ├── config                       //配置文件目录
│   │   ├── configs.ts
│   ├── db                           //数据封装目录
│   │   ├── baseDao.ts
│   ├── globals.d.ts                 //全局声明定义文件
│   ├── index.ts                     //运行入口
│   ├── inits                        //启动初始化配置目录
│   │   ├── global.ts
│   │   ├── index.ts
│   │   ├── initDirectory.ts
│   ├── middlewares                  //中间件目录
│   │   ├── globalError.ts
│   │   ├── logger.ts
│   │   ├── router
│   │   └── session.ts
│   └── routers                      //路由配置目录
│       ├── index.ts
│       └── router_rs.ts
├── tsconfig.json
└── tslint.json

相关资源地址

凝胶（gels）项目： https://github.com/zhoutk/gels
视频讲座资料： https://github.com/zhoutk/sifou
个人博客： https://segmentfault.com/blog...

相关视频课程

  1. 运用typescript进行node.js后端开发精要

  2. nodejs实战之智能微服务快速开发框架
    视频2亮点：

    • 成熟项目经验，经过总结、提炼、精简、重构，带领大家一步步实现一个智能微服务框架，这是一个完整的实用项目从无到有的实现过程。
    • 课程内容与结构经过精心准备，设计合理、节奏紧凑、内容翔实。真实再现了思考、编码、调试、除 错的整个开发过程。
    • 购置了新的录屏软件和录音设备，去除了上个视频中的杂音，清晰度更高，视频比较长，有三个小时。
weixin_34383618
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
qiankun 完整尝试， 前端微服务 + node 部署 主项目（js） + 子项目（vue）+ 子项目（react）.zip
01-16
软件开发设计：应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备：单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备...
node.js中微服务的用法
xiaomeng1998_的博客
03-17 322
使用API网关进行路由和负载均衡：在微服务架构中，可以使用API网关进行服务路由和负载均衡，可以选择开源的API网关（例如NGINX、Kong等）或云服务提供商的API网关（例如AWS API Gateway、Azure API Management等）。使用服务注册和发现机制：在微服务架构中，可以使用服务注册和发现机制，例如Zookeeper、Consul等，来管理服务的注册、发现和故障处理。使用合适的通信协议：根据应用程序的特点和需求，选择合适的通信协议，例如RESTful API、gRPC等。
搭建微型服务器（node express框架）
qq_56127002的博客
04-25 1105
后端工程师处理前端工程师开发的文件，自己搭建一台服务器
在 Node JS 中实现微服务架构
u010291330的博客
01-11 2203
🙂正如我们在之前的博客“单体与微服务：一种实用方法”中讨论的那样。但是今天我们要在 NodeJS 中实现微服务架构。👉您可以使用任何技术，如 Spring、Python 等。但我们将使用 NodeJS 进行演示。📍。
学习笔记之node创建express微服务器,并进行简单部署
qq_45217161的博客
03-28 835
如果服务器在局域网中，需要在路由器中进行端口转发，将外部主机的请求转发到内部服务器的3000端口。在部署到Express服务器的项目中，如果不对服务器进行任何配置，只能在本机上访问，其他主机是无法访问的。需要注意的是，如果Vue项目中使用了路由，需要在服务器中配置相应的路由，才能让用户访问到所有页面。需要注意的是，对于生产环境下的服务器，还需要进行一些安全性的设置，以确保服务器的安全。最后监听3000端口并输出日志。这段代码创建了一个express应用程序，将dist文件夹中的文件作为静态文件进行服务。
微服务：微智能在软件系统的简述
GIS摆渡人
08-01 230
本文主要是诠释一下“微智能”在软件系统中的思想体现，它指基于“自动化”手段形成“闭环反馈回路”或“自适应处理”的系统或组件。“微智能”设计具备三个特征自动发现、自我维护、自动适应。它相比传统反馈系统而言，形成了系统架构层面的闭环反馈；相比分布式处理系统而言，具备更多演进特点（动态配置，全网状态感知，计算动态编排）。案例“应用服务画像”描述了如何构造“服务元数据的闭环”；案例“自解析数据交互”描述了如何构造“服务调用的闭环”以及“服务调用的自适应”。httpshttpshttpshttps。...
QCon北京 2018年全球软件开发大会PPT合集（113份）.zip
05-29
唯快不破——高效定位线上 Node.js 应用内存泄漏 微服务及治理平台 微服务和甲骨文无服务器计算 适应性目标管理 使用开源分布式存储系统Alluxio来有效的分离系统计算与存储 实用且适用的架构设计 十亿拳王视频仓库...
基于SpringCloud的针织生产车间智能调度系统
04-16
能学到什么：①SpringCloud的微服务分布式框架、Vue-Node.js的前端框架、Mysql和缓存型数据库Redis是怎么在系统中体现的；②通讯层、核心功能层、数据流转层三部分都是如何设计和实现的。 阅读建议：此资源以开发 ...
entfrm-boot可视化开发平台-其他
06-12
9、拓展插件10、分布式与微服务开发环境：开发工具IntelliJ IDEA、Navicat Premium后端技术Springboot2.x、SpringSecurity、Oauth2、JWT、mybatis-plus、activiti、Flutter、Mysql等前端技术Node.js 10+、Vue.js 2.6...
个人网站与博客，基于SpringBoot、React、NextJS(SSR) 的前后端分离网站+源代码+文档说明
最新发布
11-28
| 技术栈：Java17、SpringBoot3.x、MyBatis、MariaDB、Druid、RestfulAPI、Maven | 技术栈： Node.js、 React、 Next.js、AntD | | 简要说明：尝试过SpringCloud微服务架构，但对于个人网站来说过于沉重和耗费资源，...
nodejs爬虫抓取页面内容
09-29
nodejs爬虫抓取页面内容，简单好用
基于Node.js开发个性化全网内容抓取平台
xinjinghe的博客
06-03 526
百度云网盘下载【课程内容】00课前预习内容01 搭建http服务02 Express基础03 Express中的MVC04 MongoDB实操05 mongoose06 Node.js异步最佳实践07 错误处理和日志08 鉴权09 爬虫系统初步10 鉴权实战和爬虫实战111 Redis+爬虫实战12 使用pm2管理爬虫进程13 推荐系统初步14 微服务初步和实战15 在AWS部署服务16 推荐系统...
nodejs 平台的 webscoket 的实现
weixin_33850890的博客
08-07 78
新手入门，没办法，只能选择不断不断的google吧。 找了很多的例子都跑不了，不知道什么原因。 后，自己在git搜索吧，选择了一个下面的例子：nodejs-web-socket 经过我的改造，改成我自己想要的方式。 只是将客户端发送的数据直接原封不动发回客户端。 先说说运行环境：window 7 ，nodev0.10.5，全局安装了websocket.io模块，chrome 28浏览...
Node.js爬虫实践
bboyjoe的博客
06-19 756
// 用来发送https请求 const originRequest = require("request"); // 类似服务端jquery const cheerio = require("cheerio"); // 解码 const iconv = require("iconv-lite"); function request(url, callback) { const optio...
Node.js开发系列（五）
weixin_34307464的博客
03-06 75
上一节我们实现了简单的路由，这节我们实现更复杂的路由过程 统一管理我们在server.js初始化路由控制，启动脚本的模块。 var server = require('./start'); var router = require('./router'); var requestHandlers = require('./handlers...
node.js爬虫之下载前端视频
Harry_一棵树的博客
04-19 3882
打开网址 地址是 为了防止作者找上门，所有用了图片然后代码var request = require("request"); var cheerio = require("cheerio"); var fs = require('fs'); var logger = require("./bin/logHelper").helper; var async = require("async");
Java开发全套学习！阿里大牛亲手操刀微服务架构实战
m0_56675448的博客
05-17 253
面试官最爱问的Kakfa，基础+进阶+高级，疯狂轰炸！ Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息
基于react、socket.io、node.js仿微信开发
weixin_33752045的博客
01-21 216
前言 这个项目是我自学react+redux的第一个项目，并结合自己之前所学的node+mongodb，来模仿开发微信客户端。利用每天下班时间边学习边写。由于本人技术水平有限，比较适合新手。目前还没有写完。喜欢的话可以帮忙给我github点个star ^_^ 项目地址 https://github.com/zhouatie/w... 技术...
高大上的微服务可以很简单，使用node写微服务
jhope的专栏
03-17 3981
高大上的微服务可以很简单，使用node写微服务安装npm install m-service --save使用编写服务处理函数// dir1/file1.js // 使用传入的console参数输出可以自动在日志里带上request id，便于跟踪一个请求在所有微服务上的日志 // 返回值如果是非null，则会把该值JSON.stringify后作为结果返回，若是promise，则等待promis...
小程序开发 node.js 安装
08-18
要在开发小程序时使用Node.js，你需要先安装Node.js环境。以下是安装Node.js的步骤： 1. 访问Node.js官方网站...请注意，Node.js主要用于后台开发和构建工具的使用，与小程序前端开发有所区别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值