集群环境下文件上传方法与运维（Uploading a File to a Service）

最新推荐文章于 2024-05-27 17:47:29 发布
最新推荐文章于 2024-05-27 17:47:29 发布
阅读量5.4k 收藏 1
点赞数
分类专栏： 业务流程 文章标签： Cordys NFS 文件上传 运维 mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyw71/article/details/52048069
版权

　　这篇文章描述在集群环境下，开发网页上传文件到服务端的过程，以及使用MongoDB管理文件。案例使用OpenText Cordys BOP 4平台。

　　OpenText Cordys BOP提供文件上传开发组件，用其可以设计、实现客户端网页向服务端上传文件功能。

　　此方案涉及到集群环境下文件共享技术，用于存储上传文件，在Linux环境下，使用了NFS共享文件系统。

NFS（Network File System）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。

　　本案例设计是在服务端使用MongoDB GridFS管理存储上传文件。从共享文件系统临时文件夹中读取临时文件到MongoDB中。
　　
　　示例代码片段如下：

    public static com.unicom.common.attachment.C_MONGODB_FILE uploadFileImp(String fileName, String fileType, String fileSize, String fileContent, String gridFSName, String bizInstanceId, String oId) {
        //校验入参合法性
        if (fileName == null || "".equalsIgnoreCase(fileName.trim())) return null;
        if (fileContent == null || "".equalsIgnoreCase(fileContent.trim())) return null;
        //获取文件上传者的code
        String uCode = BSF.getUser().split(",")[0].substring(3);
        C_MONGODB_FILE file = null;
        try {
            DB db = MongoDBUtil.getDB();
            GridFS gridFS = new GridFS(db, gridFSName);
            File uploadTemp = new File(fileContent);
            if (!uploadTemp.exists()) {
                return null;
            }
            file = new C_MONGODB_FILE();
            GridFSFile mongoFile = gridFS.createFile(uploadTemp);
            mongoFile.put("filename", fileName);
            mongoFile.put("bizInstanceId", bizInstanceId);
            mongoFile.put("oId", oId);
            mongoFile.put("uploadDate", new Date());
            mongoFile.put("contentType", fileType);
            mongoFile.put("fileUploader", uCode);
            mongoFile.save();
            file.setFILE_ID((String) mongoFile.getId());
            file.setFILE_NAME(mongoFile.getFilename());
            file.setFILE_TYPE(mongoFile.getContentType());
            file.setFILE_SIZE(Float.toString(mongoFile.getLength()));
            file.setFILE_CONTENT(mongoFile.getFilename());
            uploadTemp.delete();
            return file;
        } catch (Exception e) {
            return null;
        } 
    }

　　这里写图片描述

　　上传入口存储上传文件到共享文件夹中，并传递文件名称到服务容器，处理请求。共享文件夹通过配置文件wcp.properties（在Linux环境/opt/Cordys/defaultInst/config/下）配置，其中参数为com.eibus.web.tools.upload.UploadWritePath，如下所示：

#EIB Properties
#Wed Dec 16 19:25:38 CST 2015
com.eibus.web.gateway=cn\=webgateway@msbop_test,cn\=cordys,cn\=defaultInst,o\=hlcuc.com
......
com.eibus.web.tools.upload.UploadWritePath=/opt/Cordys/defaultInst/content/uploadcontent

通过SecureCRT客户端工具[1]，从服务器端下载wcp.properties配置文件。

　　也可以在Soap请求中使用Upload:FilePath属性来设置上传文件的临时文件夹，替换了wcp.properties中的配置。

    <script id="requestString" type="cordys/xml">
            <SOAP:Envelope xmlns:SOAP="http://schemas.xmlsoap.org/soap/envelope/">
                <SOAP:Body>
                    <UploadFile xmlns="http://unicom.com/common/attachment" preserveSpace="no" qAccess="0" qValues="">
                        <fileName />
                        <fileType />
                        <fileSize />
                        <fileContent>Upload:FilePath1</fileContent>
                        <gridFSName />
                        <bizInstanceId />
                        <oId />
                    </UploadFile>
                </SOAP:Body>
            </SOAP:Envelope>

    </script>
</head>

　　不过有这样的可能，黑客可以不断发送上传请求，没有服务容器是可以处理他们。所以，建议设置共享文件夹的存储空间限制，如果是企业内网，可以忽略。
　　
　　下图解释上传处理过程工作方式：

　　这里写图片描述

运维管理

　　由于此共享文件夹，没有服务监控，需要人工监控，最好每日进行监控，当文件数量超过管理限定，例如超过1000个，则执行删除操作（linux下删除操作命令为rm，而且是在用户下班后操作）。

　　例如下图为获取当前文件数量：

　　这里写图片描述

　　上传文件的临时目录
　　cd /opt/Cordys/defaultInst/content/uploadcontent

　　下载文件的临时目录
　　cd /opt/Cordys/defaultInst/content/downloadcontent

　　参考upload.htm代码片段：

<!DOCTYPE html>
<html onapplicationready="applicationReady()">
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
    <meta http-equiv="X-UA-Compatible" content="IE=9,IE=10"/>
    <title>上传附件</title>
    <link href="../common/css/bootstrap.css" type="text/css" rel="stylesheet"/>
    <link href="../common/css/bootstrap-table.css" type="text/css" rel="stylesheet"/>
    <script type="text/javascript" src="../common/js/jquery.min.js"></script>
    <script type="text/javascript" src="../common/js/rgdb.utils.js"></script>
    <script type="text/javascript">
        var gridFSName;
        var oId;
        var bizInstanceId;
        var objData;
        window.uploadTemp = {};
        function applicationReady() {
            if (system.isIE) {//ie方式
                $('#ieUpload').attr("hidden", false);
            } else {//非ie
                $('#uploadForm1').attr("hidden", false);
            }
            if (window.opener && window.opener.objValue) {
                objData = window.opener.objValue;
            }
            if (objData) {
                if (objData.gridFSName)
                    gridFSName = objData.gridFSName;
                if (objData.bizInstanceId)
                    bizInstanceId = objData.bizInstanceId;
                if (objData.oId)
                    oId = objData.oId;
            } else {
                bizInstanceId = application.getParameter("bizInstanceId");
                oId = application.getParameter("oId");
                gridFSName = application.getParameter("gridFSName");
            }
            if (!gridFSName || !oId || !bizInstanceId) {
                document.getElementById("btUpload").disabled = true;
                application.showError("抱歉，参数异常，请关闭页面后重新尝试！");
            }
        } 
        function upload() {
            document.getElementById("btUpload").disabled = true;
            uploader.request = requestString.XMLDocument;
            var fileFullName = "";
            if (system.isIE) {
                fileFullName = document.getElementById("chooseFileResult").value;
            } else {
                fileFullName = document.getElementById("file1").value;
            }
            window.fileName = fileFullName;
            if (fileFullName != "") {
                $('#ieUpload').attr("hidden", true);
                $('#uploadForm1').attr("hidden", true);
                var fileName = fileFullName.substr(fileFullName.lastIndexOf("\\") + 1);
                //window.fileName = fileName;
                window.uploadTemp.fileName = fileName;
                var fileType = fileName.substr(fileName.lastIndexOf(".") + 1);
                window.uploadTemp.fileType = fileType;
                cordys.setNodeText(uploader.request, ".//*[local-name()='fileName']", fileName);
                cordys.setNodeText(uploader.request, ".//*[local-name()='fileSize']", "");
                cordys.setNodeText(uploader.request, ".//*[local-name()='fileType']", fileType);
                cordys.setNodeText(uploader.request, ".//*[local-name()='gridFSName']", gridFSName);
                cordys.setNodeText(uploader.request, ".//*[local-name()='oId']", oId);
                cordys.setNodeText(uploader.request, ".//*[local-name()='bizInstanceId']", bizInstanceId);

                if (system.isIE) {
                    uploader.uploadFile();
                    $('#progressbar').attr("hidden", false);
                    progressbar.start(3000);
                    setTimeout(function () {
                        application.inform("上传成功！");
                        progressbar.stop();
                    }, 3500);
                } else {
                    uploader.uploadFile(document.getElementById("uploadForm1"));
                    $('#progressbar').attr("hidden", false);
                    progressbar.start(2700);
                    setTimeout(function () {
                        application.inform("上传成功！");
                        progressbar.stop();
                    }, 3000);
                }
            } else {
                application.notify("请选择您要上传的附件!");
                document.getElementById("btUpload").disabled = false;
            }
        }
        function onUploadHandler() {
            if (window.application.event.status == true) {
                progressbar.setStatus(100);
                progressbar.stop();
                application.inform("上传成功！");
                window.opener.window.getFileList();
            } else {
                application.showError("抱歉，上传失败！");
            }
        }
        function doClose() {
            getFileList();
        }
    </script>

    <script id="requestString" type="cordys/xml">
            <SOAP:Envelope xmlns:SOAP="http://schemas.xmlsoap.org/soap/envelope/">
                <SOAP:Body>
                    <UploadFile xmlns="http://unicom.com/common/attachment" preserveSpace="no" qAccess="0" qValues="">
                        <fileName />
                        <fileType />
                        <fileSize />
                        <fileContent>Upload:FilePath1</fileContent>
                        <gridFSName />
                        <bizInstanceId />
                        <oId />
                    </UploadFile>
                </SOAP:Body>
            </SOAP:Envelope>

    </script>
</head>

<body style="border:0px;margin:0px;padding:50px 50px 50px 50px;overflow:hidden" class="taskbar" scroll="no">
<div class="panel panel-default">
    <div class="panel-heading">
        <strong>上传文件</strong>
    </div>
    <div class="panel-body">
        <div cordysType="wcp.library.util.Upload" encode="true" id="uploader" onupload="onUploadHandler();"
             style="display:none" xmlcontent="true"></div>
        <div id="ieUpload" class="form-group" hidden="hidden">
            <input name="chooseFileResult" class="fileInputIE" id="chooseFileResult"
                   onclick="this.value=chooseFileResult.value = uploader.browse(1)" type="text" placeholder="请点击输入框选择文件"
                   readonly>
        </div>
        <form action="com.eibus.web.tools.upload.Upload.wcp" enctype="multipart/form-data" id="uploadForm1"
              method="post" name="uploadForm1" hidden="hidden">
            <input id="file1" name="file1" type="file" class="fileInput" style="height:27px;"/>
        </form>
        <div cordysType="wcp.library.ui.ProgressBar" id="progressbar" style="width:100%;height: 25px;" class="light"
             hidden="hidden">
        </div>
        <div class="row text-center" style="margin-top: 20px;">
            <button id="btUpload" name="btUpload" onclick="upload()" class="btn btn-danger">上传</button>
            <button id="btClose" name="btClose" onclick="doClose()" class="btn btn-danger" style="margin-left: 10px;">
                关闭
            </button>

        </div>
    </div>
</div>

</body>
</html>
<script type="text/javascript">
    function getFileList() {
        if(window.fileName != undefined){
            var gridFSName1 = gridFSName;
            if (window.isTransWkfl)
                $('#btnAddAttachment').attr('disabled', true);

            return $.cordys.utils.sendCordysAjax({
                method: 'GetFileList',
                namespace: 'http://unicom.com/common/attachment',
                parameters:{
                    bizInstanceId: bizInstanceId,
                    gridFSName: gridFSName1
                }
            }).done(function (response) {
                response = $.cordys.utils.formatCordysAjaxQueryEntity(response);
                if (response) {
                    console.log(response);
                    //return response;
                    if(response.length > 0){
                        $.each(response,function(index,ele){
                            if(response[index]['FILE_NAME'] == window.uploadTemp.fileName){
                                            application.container.close();
                                            window.opener.window.getFileList();
                                            window.close();
                            }else{
                                alert("正在上传，请稍等。。。 。。。");
                            }
                        });
                    }else{
                        alert("请稍等。。。 。。。");
                    }
                }
            }).fail(function (returnData) {
                alert('附件上传失败!');
                console.error('error' + returnData)
            });
        }else{
            application.container.close();
            window.opener.window.getFileList();
            window.close();
        }

    }
</script>

参考：

[1] Cordys Web Gateway与XForm的监控及log文件下载（SecureCRT） 肖永威 2016.06

肖永威
关注
专栏目录
如何利用GitHub Actions进行项目部署、项目运维和监控等流程自动化 ？ Django Project Deployment and Operations without GitHub
程序员光剑
08-08 843
在软件开发领域，自动化部署是一个非常重要的环节。其目标是在服务器上部署应用，自动更新代码、处理依赖关系等，实现持续集成（Continuous Integration）、持续交付（Continuous Delivery/Deployment）。最近，GitHub Actions出现了，它允许用户在代码库中定义工作流，并自动执行这些任务。借助于GitHub Actions，我们可以很方便地实现项目的自动部署。本文将阐述如何利用GitHub Actions进行项目部署、项目运维和监控等流程自动化。
三、搭建基于Haproxy和Keepalive的高可用k8s集群
IT谢彪的博客
09-20 388
搭建基于Haproxy和Keepalive的高可用k8s集群
集群互相传文件
qq_21469823的博客
12-25 732
scp file 远程用户名@远程服务器IP:~/ （注意：冒号和目录之间不能有空格）
Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令
希望每天都能进步一点点
01-15 1456
文章目录参考资料一、前言二、rsync 远程同步工具三、使用 shell 编写分发脚本四、总结 参考资料 视频链接 Linux scp命令 一、前言 在Hadoop完全分布式集群环境下，里面的各个节点都是通过 SSH免密登陆 连接的，比如现有三台集群节点，分别是 hadoop101、hadoop102、hadoo103。 hadoop101节点可以通过 ssh命令连接到hadoop102，即： ssh hadoop102 那么，除了远程登陆以外，还有其他的作用吗？ 当然有的，比如远程传输文件：sc
tomcat集群 文件上传
dinggubpbnp0079的专栏
10-15 195
由于项目需求变动，原来的java web项目需要用到tomcat集群。运用集群之前需要先解决几个小问题，现在就来说一下，关于文件上传的问题(因为我之前文件是保存在服务器某个文件夹下，访问服务器1tomcat上传的文件,会有服务器2tomcat不能操作的情况)： lz菜鸟，简单的把操作步骤介绍如下，如有不对的地方，欢迎大家留言讨论，谢谢大家！ 1.首先，把保存所有文件的文件夹共享； ...
（一）hadoop集群搭建——1.2集群文件传输准备
我是菜鸟程序员的博客
12-18 574
（一）hadoop集群搭建——1.2集群文件传输1.scp命令介绍（全量同步）2.rsync命令介绍（增量同步）3.免输入密码配置 1.scp命令介绍（全量同步） scp命令为安全拷贝命令，使用方式为： scp -r 源文件用户名A@主机名1:path1 目标文件用户名B@主机名2:path2 要求：用户名A@主机名1对path1有读权限，用户名B@主机名2对path2有写权限 2.rsync命令介绍（增量同步） rsync对比文件的修改时间，增量同步，只能将本机文件同步，使用方式为： rsyn
apache 集群后文件上传和浏览下载问题解决
heqinghua217的博客
12-20 730
如果两台服务器都是windows的，可以吧附件都放到某一台上面， 如放到 tomcat1 的服务器上D盘上，然后吧D盘做成共享盘符，记住给权限， 删除和添加查询权限要有，然后再tomcat2的服务器上吧tomcat1的D盘映射给自己， 这样，对方的D盘就可以当做自己的盘符来使用了，只是盘符名称你自己定义一个即可， 因为tomcat2上可能也有D盘，你吧映射过来的改成Z盘即可。 tomca...
在不同服务器之间、服务器与本地之间进行文件传输的方法
chen_znn的博客
05-27 1671
本文记录了在不同服务器之间、服务器与本地之间进行文件传输的方法
Docker学习（五）-Kubernetes 集群搭建 - Spring Boot 应用
释迦苦僧的专栏
02-04 1030
kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
Serverless计算原理与案例
程序员光剑
08-29 448
作者：禅与计算机程序设计艺术 1.简介 服务器计算的发展经历了多次革命，从单机计算、分布式计算到云计算、容器技术、微服务架构、函数计算、物联网（IoT）、边缘计算等等，这其中的每个变化都带来了新的机遇和挑战。而 Serverless Computing (FaaS)就是其中重要的一环。 S
pavo：用Golang编写的jQuery-File-Upload服务器端上传服务
02-04
帕沃 使用Golang编写的服务器端上传服务。 用法 使用以下命令从控制台运行： $ bin/pavo --host=localhost:9078 --storage=/path/to/root/storage 例 构建后运行应用程序： $ bin/pavo --storage=dummy/root_storage 在浏览器中打开示例页面： open http://localhost:9073/example/jfu-basic.html 安装 安装golang Golang。 设置环境变量。 例如对于MacOS： brew install go mkdir $HOME /go #
Anaconda for cluster management安装与配置
dogekul的自我修炼
06-15 2131
博主在东直门某司，实习第一个任务就是搞清楚这个Anaconda 的集群管理系统怎么安装配置，然后写一个report给运维的同事们，查询了很久最后发现，还是自己看文档吧。因此留下这篇教程。 在客户机上安装Anaconda Mac https://www.continuum.io/downloads#_macosx 选择PYTHON2.7版本的MAC OSX 64-BIT
文件上传到数据服务器上,文件数据上传到服务器
weixin_31185473的博客
08-05 599
文件数据上传到服务器 内容精选换一换通常在将数据导入数据库前，即将入库的数据已经在相关主机上了。我们称这种保存着待入库数据的服务器为数据服务器。此时，只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信，并查看和记录数据在数据服务器上的存放目录备用。如果待入库数据还没有就绪，则请先参考如下步骤，将数据上传到数据服务器上。GDS并行导入支持CSV、TEXT格式的通常在将数据导入数据库前...
CKEditor和UEditor使用比较
meimonkey的专栏
08-05 1万+
CKEditor和UEditor使用比较 本来项目中使用CKEditor已经做好了的富文本编辑器的功能，但是业务考虑到美观性要求换成UEditor，所以就在这里总结下 先说下使用这两个不同插件的感想，我用的ueditor是1.4.3的版本：(ueditor API) UEditor：ueditor更注重用户体验，而且使用起来较ckeditor简单，但是ueditor在处理
FileUpload控件的用法
热门推荐
yingjiell的专栏
10-28 3万+
<br />FileUpload控件是一个很重要的控件，它被Web服务器最终解释为形如“<input type=”file”…/>”这样的普通HTML控件。<br />它有如下常见属性：<br /> <br />属性名 数据类型 说明 <br />FileBytes byte[] 上传的文件内容的字节数组表示形式 <br />FileContent Stream 上传文件的数据流 <br />FileName string 上传文件在客户端的名字 <br />HasFile bool 指示是否上传了文件 <
SpringCloud yml 配置feign整合FtpClient连接池实现文件上传下载微服务
boomLJiE的博客
04-18 2993
感谢：Keepalived，和寄点以及网友分享的博客，以下是我整理的在 相關連接：https://blog.csdn.net/qq_39914581/article/details/88660133 https://blog.csdn.net/qq_17655941/article/details/80758133 SpringCloud feign整合FtpClient连接池实现文件上传下...
repo upload 或者git push 报错“remote: (W):commit subject 65 characters,use shorter first paragraph”
Linux嵌入式新手学习的积累过程
06-19 6556
遇到问题： Repo upload pre-hook check report: Git (ambarella/include): Pass Git (kernel/linux-4.14): Pass Git (kernel/private): Pass Git (unit_test/private): Pass Taglist: Exuberant ctags (http://ctags.sf.net) not found in PATH....
PHP文件上传漏洞原理以及如何防御详解
HRG520JN的博客
02-19 1258
PHP文件上传漏洞 一、漏洞描述 在本人开发过程中文件上传的功能是很常见的，比如一个游戏平台： ①用户可以上传自己的头像图片， ②用户论坛发表文章时又需要上传图片来丰富自己的文章， ③更有甚者游戏开发用户需要上传APK文件等。文件上传功能是十分重要的， 所以针对这个功能的漏洞就由下面来讨论研究，经过实战例子和跟大家探讨如何防护。 ​为了方便统一讨论，目前我们就以上传图片功能来做讲...
东塔靶场之文件上传cms--pluck
qq_43665434的博客
03-24 811
东塔靶场之文件上传cms–pluck pluck是一个小型简单的内容管理系统,由PHP写成。即使你没有编程语言知识，也可以很容易地使用它来管理站点，功能有给页面插照片、在blog里写文章、分享照片等 pluck cms后台存在文件上传漏洞，攻击者可以利用该漏洞获取获取服务器权限 准备： 一个info.php文件 <?php file_put_contents('qianxun.php',base64_decode('PD9waHAgQGV2YWwoJF9QT1NUW2NtZF0pOz
antd中a-upload文件上传成功后，进度条还是处于加载中
最新发布
09-12
在Ant Design (antd) 的 `a-upload` 组件中，如果文件上传成功后进度条仍然显示为加载状态，这可能是由于以下几个原因： 1. **设置错误**：检查 `Upload` 组件的配置，确认是否设置了正确的 `onSuccess` 或者 `onProgress` 回调函数。在上传成功后，需要更新进度信息或者关闭进度条。 ```jsx <Upload onSuccess={file => { // 更新进度或其他操作后关闭进度条 this.setState({ uploading: false }); }} /> ``` 2. **默认状态**：`a-upload` 默认会在上传期间保持加载状态，直到上传完成。如果不想让它自动关闭，你需要在组件外部控制这个状态。 3. **回调延迟**：有时候回调可能有延迟，你可以考虑添加一个短时间的延时来确保在上传完成后更新状态。 4. **异步处理**：确保 `onSuccess` 中的操作是同步执行的，因为异步可能会导致进度条未及时更新。 如果你确定配置无误，确保你在适当的时候关闭了上传状态或者进度条组件，例如： ```jsx // 假设 youHaveUploadedData 是你上传后的数据 this.props.onSuccess(youHaveUploadedData) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肖永威

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值