【Nginx 归档整理】Openresty 实现数据文件上传数仓网关 2020.7.28

最新推荐文章于 2022-08-16 11:29:50 发布

今心木目

最新推荐文章于 2022-08-16 11:29:50 发布

阅读量395

点赞数

分类专栏： Nginx 文章标签： nginx 文件上传 upload openresty 数据仓库

本文链接：https://blog.csdn.net/a1051826842/article/details/107630249

版权

模块设计
    模块组成
        Nginx Web模块
        Shell脚本模块
    最终形体
        Openresty(Nginx+lua扩展+lua_upload库) + Shell(OS+HDFS+Hive+Impala)

设计思想
    Nginx Web模块
        采用 封装 lua 语言扩展完善的 Openresty 自带 upload 库
        Openresty 部署方式为 Docker 快速部署
            带来的问题: Docker 容器封装导致的 Shell 仅能调用 Docker 内服务 --> 无法调用 宿主机 Linux 部署的相关服务
                解决办法 -> 将原属于 连带 调用的 Shell 脚本 进行拆离 -> 宿主机 Linux Crontab 定时调用 Shell 脚本
        Web服务形式
            API: http://IP/hdfs_upload? 【default 未配置 域名/特殊端口 拦截】
            URI参数: tenant=&dbtable=&dt=&isclean= 【非必要参数 isclean, dt 支持 多个日期使用','分隔, 支持 tenant/dataone_tenant 自动切换顺带切换dt】
            POST参数: -F "file=@/Path/to/file"
                为什么既用 Get URI 又用 POST 为什么不直接 Post 传参即可？
                问题: -F 文件内容过大 占据 Body，而 Post 参数也在 Body 存储传输 导致 ngx.req.get_post_args() 无法解析
                    解决办法: 使用 URI 参数 通过 ngx.req.get_uri_args()