Dataverse开发环境部署方案

最新推荐文章于 2024-06-02 09:34:33 发布
最新推荐文章于 2024-06-02 09:34:33 发布
阅读量2.7k 收藏 1
点赞数
分类专栏： 实践记录 文章标签： Dataverse Vagrant 部署调试 solr服务 IDEA Debug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/markximo/article/details/80417774
版权

Dataverse —— Open source research data repository software

#1. Dataverse介绍

这是一个开源的web应用程序，用于共享、保存、引用、探索和分析研究数据。目的是促进了数据共享，并允许他人更容易地获得其他人的工作成果。核心思想是将专业档案管理员的大部分工作自动化，并为数据创建者提供服务和分发权限。

主要分作三层，一个Datavserse的存储库可以承载多个称为Dataverses的虚拟档案。每个Dataverse包含多个数据集Datasets，每个数据集包含描述性元数据和数据文件（包括文档和代码），dataverses还可能包含其他dataverses。

#2. 运行环境及相关技术

  • Liunx：运行平台，官方建议版本为el7(rhel/centos 7)。

  • Java：Java运行时环境支持，官方建议版本Java SE 8 (8u74/JDK 1.8.0u74 或者更高版本)。

  • Glassfish：开源的Java EE应用服务，支持JSF、EJB等，官方建议版本4.1。

  • PostgreSQL：关系型数据库。

  • Solr：基于Apache Lucene构建的快速、开源的企业搜索平台，官方建议版本4.6.0。

  • jq：灵活、轻量的命令行JSON处理器，官方建议版本1.4及更高版本。

  • ImageMagick：用来创建、编辑、组合或转换位图图像。

  • JPA/JAX-RS/JMS/JSF

  • PrimeFaces/Bootstrap

#3. vagrant方式部署

项目涉及到的环境内容较多且繁琐，为了开发效率项目提供了vagrant方式部署，这样大大提高了我们作为初学者的试用效率，可以想象为一个镜像备份，我们可以通过一个配置文件初始化定义，最后执行完成后就还原了一个我们期望的虚拟机环境。
首先，下载安装oracle virtualbox。
其次，下载安装vagrant。同时，为了提高执行效率，可以在第三方仓库下载一个vagrant-centos-7.2.box，也可以在vagrantfile中配置官方仓库下载。
完成下一步下一步…的安装后，建议调整下配置，将默认虚拟电脑位置指定在E:\VirtualBox VMs。
VirtualBox默认虚拟电脑位置
未来我们的vagrant命令执行根目录也在这里进行。
然后，下载DataVerse项目，如果你是开发人员，可以通过github开源项目IQSS/dataverse或者直接下载Latest release。将项目中conf和scripts文件复制到E:\VirtualBox VMs目录下。
最后，我们开始执行vagrant命令创建并初始化centos7系统。
cmd控制台进入E:\VirtualBox VMs下或者win10系统直接进入文件夹按住啊shift+右键(在此处打开Powershell窗口)，依次执行。

  1. vagrant box add box名称 box文件位置 添加box
    例如：vagrant box add dataverseBox E:\dataverse\install\vagrant-centos-7.2.box
    注意：box文件位置路径中不允许存在空格。
  2. vagrant init 初始化
    你会发现执行完这一步后，在E:\VirtualBox VMs出现了vagrantfile文件，这是一个vagrant初始化配置文件，我们把它替换为dataverse项目根目录下的vagrantfile，根据实际情况调整一下：
# -*- mode: ruby -*-
# vi: set ft=ruby :
# Vagrantfile API/syntax version. Don't touch unless you know what you're doing!
VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|

  config.vm.define "standalone", primary: true do |standalone|
    config.vm.hostname = "standalone"
    # Uncomment this temporarily to get `vagrant destroy` to work
    #standalone.vm.box = "puppetlabs/centos-7.2-64-puppet"
    #指定本地box名称，vagrant box add步骤中的box名称。
    standalone.vm.box = "dataverseBox"
    operating_system = "centos"
    if ENV['OPERATING_SYSTEM'].nil?
      #被我注释了
      #config.vm.box = "puppetlabs/centos-7.2-64-puppet"
      #config.vm.box_version = '1.0.1'
    elsif ENV['OPERATING_SYSTEM'] == 'debian'
      puts "WARNING: Debian specified. Here be dragons! https://github.com/IQSS/dataverse/issues/1059"
      #被我注释了
      #config.vm.box_url = "http://puppet-vagrant-boxes.puppetlabs.com/debian-73-x64-virtualbox-puppet.box"
      #config.vm.box = "puppet-vagrant-boxes.puppetlabs.com-debian-73-x64-virtualbox-puppet.box"
    else
      operating_system = ENV['OPERATING_SYSTEM']
      puts "Not sure what do to with operating system: #{operating_system}"
      exit 1
    end

    mailserver = "localhost"
    if ENV['MAIL_SERVER'].nil?
      puts "MAIL_SERVER environment variable not specified. Using #{mailserver} by default.\nTo specify it in bash: export MAIL_SERVER=localhost"
    else
      mailserver = ENV['MAIL_SERVER']
      puts "MAIL_SERVER environment variable found, using #{mailserver}"
    end

    config.vm.provider "virtualbox" do |v|
      v.memory = 2048
      v.cpus = 1
    end
    config.vm.provision "shell", path: "scripts/vagrant/setup.sh"
    config.vm.provision "shell", path: "scripts/vagrant/setup-solr.sh"
    config.vm.provision "shell", path: "scripts/vagrant/install-dataverse.sh", args: mailserver
    # FIXME: get tests working and re-enable them!
    #config.vm.provision "shell", path: "scripts/vagrant/test.sh"
    #默认私有网络，我调整为了桥连网络并固定了IP，这样虚拟机相当于局域网中一台独立设备。
    config.vm.network "public_network", ip: "192.168.1.128"
    config.vm.network "forwarded_port", guest: 80, host: 8888
    config.vm.network "forwarded_port", guest: 443, host: 9999
    config.vm.network "forwarded_port", guest: 8983, host: 8993
    config.vm.network "forwarded_port", guest: 8080, host: 8088
    config.vm.network "forwarded_port", guest: 8181, host: 8188

    # FIXME: use /dataverse/downloads instead
    #将我开发工程中的目录映射到虚拟机目录上进行同步。
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6\\downloads", "/downloads"
    # FIXME: use /dataverse/conf instead
    #将我开发工程中的目录映射到虚拟机目录上进行同步。
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6\\conf", "/conf"
    # FIXME: use /dataverse/scripts instead
    #将我开发工程中的目录映射到虚拟机目录上进行同步。
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6\\scripts", "/scripts"
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6", "/dataverse"
  end

  config.vm.define "solr", autostart: false do |solr|
    config.vm.hostname = "solr"
    solr.vm.box = "puppet-vagrant-boxes.puppetlabs.com-centos-65-x64-virtualbox-puppet.box"
    #将我开发工程中的目录映射到虚拟机目录上进行同步。
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6", "/dataverse"
    #默认私有网络，我调整为了桥连网络并固定了IP，这样虚拟机相当于局域网中一台独立设备。
    config.vm.network "public_network", ip: "192.168.1.128"
    config.vm.network "forwarded_port", guest: 8983, host: 9001
  end

  config.vm.define "test", autostart: false do |test|
    config.vm.hostname = "test"
    test.vm.box = "puppet-vagrant-boxes.puppetlabs.com-centos-65-x64-virtualbox-puppet.box"
    #将我开发工程中的目录映射到虚拟机目录上进行同步。
    config.vm.synced_folder "E:\\datavserse\\dataverse-4.8.6", "/dataverse"
    #默认私有网络，我调整为了桥连网络并固定了IP，这样虚拟机相当于局域网中一台独立设备。
    config.vm.network "public_network", ip: "192.168.1.128"
  end

end

3.vagrant up 启动并根据vagrantfile配置执行，这个过程比较耗时，如果中间出现卡顿现象请查看附录Q1。

执行完以上步骤后，虚拟机环境创建完成，此时我们可以通过ssh连接到虚拟机系统中查看dataverse项目是否已经部署。

#4. 安装配置dataverse相关服务

##4.1 Glassfish服务
上一步我们搭建了虚拟机并将dataverse项目环境部署在了虚拟机上，我们可以查看系统根目录下已经存在vagrantfile中配置的同步文件夹，并且已经根据dataverse项目中的脚本执行，下载了Glassfish应用服务和solr搜素引擎，文件位置按照官方文档在/usr/local下，但我操作实际位置在/home/glassfish下。
系统根目录
下载dvinstall，解压至downloads文件夹下（本地开发工程downloads目录已经与虚拟机系统同步，直接解压至E:\datavserse\dataverse-4.8.6\downloads下即可在虚拟机downloads中看到）。
通过ssh登录虚拟机，用户root，密码vagrant，执行命令：
cd downloads/dvinstall
./install
整个过程会有配置项需要填写，基本都使用默认值，具体配置官方列表如下：

  • Internet Address of your host: localhost
  • Glassfish Directory: /usr/local/glassfish4
  • Glassfish User: current user running the installer script
  • Administrator email address for this Dataverse: (none)
  • SMTP (mail) server to relay notification messages: localhost
  • Postgres Server Address: [127.0.0.1]
  • Postgres Server Port: 5432
  • Postgres ADMIN password: secret
  • Name of the Postgres Database: dvndb
  • Name of the Postgres User: dvnapp
  • Postgres user password: secret
  • Remote Solr indexing service: LOCAL
  • Rserve Server: localhost
  • Rserve Server Port: 6311
  • Rserve User Name: rserve
  • Rserve User Password: rserve
  • Administration Email address for the installation;

配置安装完成后，会启动Glassfish服务，然后通过本机浏览器输入：http://192.168.1.128:8080 就可以访问Dataverse数据仓库平台了，默认管理员用户名：dataverseAdmin，默认密码：admin（首次登陆时强制要求修改密码，密码限制至少一个字母+数字组合）。
Glassfish管理员控制台：http://192.168.1.128:4848用户名：admin 默认密码为空。
如果出现输入正确用户名密码仍然不能登录情况，请参考附录Q3。

##4.2 Solr服务

我们登陆系统后会发现界面上红色报错提醒，是因为搜索引擎服务没有启动造成的，我们回到ssh命令行进入/home/glassfish/solr/example目录下看到
solr目录
执行命令：
java -jar start.jar 启动Solr服务
再次登陆Dataverse数据仓库平台就没有错误提醒，并且可以通过 http://192.168.1.128:8983/solr/ 进入搜索管理平台。
查看附录Q2如何将Solr服务随虚拟机系统启动。

#5. 服务重启
系统关闭后再次启动，本机cmd控制台进入E:\VirtualBox VMs执行
vagrant up
然后再ssh登录虚拟机系统进入/home/glassfish/glassfish4/glassfish目录执行
./bin/asadmin start-domain

#6. IDEA开发Remote方式调试源码工程
官方给出的Developer Guide中建议大家在liunx或macOS上搭建开发环境，但是我已习惯了在windows平台上工作，毕竟我只是看看不是专门做这件事。
第一步，在Glassfish管理员控制台开启Debug，注意Debug Options中参数address=9009，这是Remote端口号。
Glassfish Debug
第二步，本机IDEA创建Debug选择Remote，配置IP（Glassfish服务IP），Port（9009），选择module（下载dataverse源码工程github或last release）。
IDEA Remote Debug
搞定了，直接运行debug打个断点，就可以开始跟踪调试了，注意要求本机源码工程版本一定要与虚拟机发布工程版本保持一致。
//TODO 本机修改代码同时发布至虚拟机。

#附录

##Q1. 执行vagrant up命令在某个download…pom/jar时停止卡住了，怎么办？
出现后可以通过ctrl+c终止执行，会提示正在清理并退出，如果等待片刻依然没有退出到执行目录，可以直接在进程中关闭所有虚拟机相关进程，然后重新执行
vagrant up
最后如果担心执行中存在疏漏可以多花些时间执行
vagrant provision 强制更新

##Q2. 如何将Solr服务随虚拟机系统启动？
我们通过编写脚本将其与系统启动服务建立起连接即可，具体操作如下：

  1. 准备Solr启动脚本文件slor（不要任何后缀名）。
#!/bin/sh

# Starts, stops, and restarts Apache Solr.
#
# chkconfig: 35 92 08
# description: Starts and stops Apache Solr
#服务具体位置
SOLR_DIR="/home/glassfish/solr/solr-4.6.0/example"
#服务启动命令
JAVA_OPTIONS="-Xmx1024m -DSTOP.PORT=8079 -DSTOP.KEY=mustard -jar start.jar"
#服务日志文件位置
LOG_FILE="/home/glassfish/solr/solr-4.6.0/example/logs/solr.log"
#JAVA运行环境
JAVA="/usr/bin/java"

case $1 in
    start)
        echo "Starting Solr"
        cd $SOLR_DIR
        $JAVA $JAVA_OPTIONS 2> $LOG_FILE &
        ;;
    stop)
        echo "Stopping Solr"
        cd $SOLR_DIR
        $JAVA $JAVA_OPTIONS --stop
        ;;
    restart)
        $0 stop
        sleep 1
        $0 start
        ;;
    *)
        echo "Usage: $0 {start|stop|restart}" >&2
        exit 1
        ;;
esac

2.将脚本solr放至虚拟机系统/etc/init.d目录下 ，并授权文件读写权限。
chmod 755 solr
可以执行测试，看看脚本是否能正常启动solr服务。
/etc/init.d/solr start
如果无法执行，提示… … /bin/sh^M: bad interpreter: No such file or directory，则是因为你在windows下创建并编辑的脚本文件，默认fileformat为dos，通过vi命令修改为unix即可。
进入文件编辑
vi solr
查看fileformat
:set ff
设置为unix
:set ff=unix
退出保存，按ESC
:wq!
3.创建服务使solr脚本随系统启动。
chkconfig --add solr

4.检查是否创建成功。
chkconfig --list
检查服务
这里说明下为什么3，5是on，其它为off，这与脚本中chkconfig后三个数字35 92 08相关，表示将在rc3.d和rc5.d目录下创建名字为s92solr的文件与系统建立连接。

#!/bin/sh

# Starts, stops, and restarts Apache Solr.
#
# chkconfig: 35 92 08
# description: Starts and stops Apache Solr

##Q3. Glassfish管理员控制台无法登陆？
输入了正确的用户名密码，依然无法登陆，可能是Glassfish管理员控制台默认远程登陆被禁用，进入虚拟机服务执行命令：
$ cd home/glassfish/glassfish4/glassfish/
$ ./bin/asadmin stop-domain 必须先停止服务
$ ./bin/asadmin change-admin-password 首先修改密码不为空
$ ./bin/asadmin start-domain 先重启Glassfish服务
$ ./bin/asadmin enable-secure-admin 再修改管理员控制台远程登陆权限

Droy`Z
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
探索数据的无尽可能：Dataverse
gitblog_00025的博客
06-07 318
探索数据的无尽可能：Dataverse 项目地址:https://gitcode.com/UpstageAI/dataverse 在数据科学和工程的世界中，找到一个简单易用且功能强大的解决方案至关重要。这就是Dataverse登场的地方——一个基于Python的开源项目，专为ETL流程提供了一种标准化、高效的方法。无论是数据科学家、分析师还是开发者，无论您对Spark有多熟悉，Dataverse都...
探索数据质量的黄金标准：Datavines
gitblog_00033的博客
05-26 382
探索数据质量的黄金标准：Datavines 项目地址:https://gitcode.com/datavane/datavines 在大数据时代，数据质量成为企业决策的生命线。为了确保数据的准确性和可靠性，Datavines应运而生，它是一个易于使用的数据质量管理平台，涵盖了从数据目录到数据质量检查，再到数据概览的全方位服务。 项目介绍 Datavines以提供强大的数据质量保障为目标，构建了一整...
dataverse：开源研究数据存储库软件
02-25
Dataverse:registered: Dataverse是一个软件平台，用于共享，查找，引用和保存研究数据（由和的开发）。 是我们的网上主页，显示了世界各地Dataverse安装的地图，列表，通过实现的，我们的开发等等。 我们在上有一个演示站点，欢迎您用于测试和评估Dataverse。 要安装Dataverse，请参阅我们的，它会提示您下载我们的。 要与社区讨论Dataverse，请加入我们的，参加，在与我们聊天，或参加我们的年度。 我们热爱贡献者！ 请参阅我们的《以获取帮助的方式。 Dataverse是哈佛大学校长和院士的商标，并已在美国注册。
Dataverse生产环境部署方案
在路上的左一
08-29 1892
该方案与之前开发阶段部署方式的不同之处在于，所有支撑系统运行的环境都需要一步一步的安装和配置，不是采用vagrant方式直接还原及开发工程中的dvinstall脚本进行部署。 1. 操作系统 建议安装centos7 64位，接下来的步骤也是基于这个平台进行。 2. Java 需要安装JDK8版本，可以是oracle或openJDK。 安装： # yum install ja...
推荐开源项目：DataVerse —— 深入探索数据科学的宝库
最新发布
gitblog_00085的博客
06-02 251
推荐开源项目：DataVerse —— 深入探索数据科学的宝库 项目地址:https://gitcode.com/IvanReznikov/DataVerse 项目介绍 欢迎来到DataVerse，一个专为分享机器学习、数据科学及相关主题的博客、文章和会议演讲中使用的代码片段和笔记本的仓库。这个项目由数据科学家精心打造，旨在提供一个互动的学习平台，让开发者能够深入理解和应用各种数据科学技术。 项目...
dataverse
03-17
关于Laravel Laravel是一个具有表达力，优雅语法的Web应用程序框架。 我们认为，发展必须是一种令人愉快的，富有创造力的经历，才能真正实现。 Laravel减轻了许多Web项目中使用的常见任务，从而减轻了开发过程中的痛苦，例如： 。 。 用于和存储的多个后端。 富有表现力，直观的 。 数据库不可知。 。 。 Laravel易于访问，功能强大，并提供大型，强大的应用程序所需的工具。 学习Laravel Laravel拥有所有现代Web应用程序框架中最广泛，最全面的和视频教程库，因此轻而易举地开始使用该框架。 如果您不想读书，可以使用帮助。 Laracasts包含1500多个视频教程，涉及各种主题，包括Laravel，现代PHP，单元测试和JavaScript。 深入我们全面的视频库，提高您的技能。 Laravel赞助商 我们要感谢以下赞助商为Laravel开发
为制造业构建Teams Power App 1：Dataverse入门
寒冰屋的专栏
12-11 947
您可能对低代码和无代码应用程序开发有点怀疑。作为传统的软件开发人员，您不想失业，但开发电路上的所有嗡嗡声可能会让您感到好奇。因此，与我们一起深入了解低代码和无代码应用程序如何帮助像您这样的专业开发人员。
DataverseClient:示例客户端应用程序以连接到PowerPlatform Dataverse环境
04-13
PowerPlatform Dataverse简单客户端应用程序小型应用程序，可使用库连接到Dataverse环境实例并调用WhoAmI，该库可作为。 展示如何初始化连接和处理错误。 控制台应用程序需要按顺序提供3个参数（对不起，此处没有...
dataverse_files_dataverse_ThisIsIt_
10-01
标题中的“dataverse_files_dataverse_ThisIsIt_”似乎是指一个特定的Dataverse项目或数据集，其中可能包含了与"ThisIsIt"相关的文件。Dataverse是一个开源软件平台，用于管理和发布研究数据。它通常被学术机构和...
dataverse-data-explorer-v2：Dataverse数据资源管理器的版本2
02-10
dataverse-data-explorer-v2 Dataverse数据资源管理器的版本2。 数据资源管理器是一个Web应用程序，它在表格数据文件中列出变量，并允许用户查看类别和摘要统计信息，查看数据图表以及进行交叉列表分析。 该独立...
dvn:[[已弃用]从R访问Dataverse Network API
05-18
dvn R访问Dataverse网络 现在，许多Dataverse服务器都使用Dataverse 4.0或更高版本。 正在开发一个单独的软件包 ，以与这些较新的安装一起使用。 用于R的dvn软件包将公共数据共享集成到可重现的研究工作流程中。 这样， dvn可以访问在线数据存储库系统的数据共享API和数据存放API。 数据共享API支持搜索任何公共数据，返回研究和文件元数据。 当使用条款允许直接下载公共数据时，还为数据下载提供了有限的支持。 数据存放API允许用户直接创建和修改数据反向列表（研究，元数据和文件），从而仅需几个简单功能即可将数据归档直接集成到R工作流中。 数据存储API基于构建，尽管该API并不完全支持所有功能。 dvn默认提供对访问，但是可以在每个函数调用中更改访问权限，也可以使用任何有效options(dvn = 'https://thedata.harvard.e
系统部署方案
10-23
系统部署方案（doc）
ucla-dataverse-doc：UCLA Dataverse实例的文档
02-23
**UCLA Dataverse实例文档详解** UCLA Dataverse是一个基于开源Dataverse软件的在线数据存储和分享平台。这个平台主要用于学术研究者、学者以及机构，为他们提供一个安全、可靠的方式来存储、管理和发布他们的研究...
Dataverse使用入门
chaishen10000的专栏
06-16 3372
Dataverse的结构：典型的套娃结构，很好理解。 Dataverse Layers 数据结构总共分三层：Dataverse（北大翻译成“数据空间”）、Dataset（数据集）和File（文档）。Dataverse下面可以套好多层的Dataverse，无限延展下去。最小的那个套娃就是Dataset数据集，数据集就是由很多种格式的File组成。Dataverse可以是个人主页、研究小组、研究项目。 页面呈现也非常简洁。进入NTU的Dataverse就可以看到该机构highlight的几个Datav
构建Dataverse表单
qq_57751363的博客
06-11 152
Dataverse 构建表单
linux系统开发环境的部署,Win10下Linux开发环境搭建
weixin_29309785的博客
04-28 285
标签：centosdevices配置到就会serveice准备注册desktopWin10简介本文主要介绍了在win10下通过virtual box安装CentOS 7并启用ssh服务，在win10上通过vscode remote连接进行开发的过程。配置安装Virtual Box，可在其官网下载安装，基本按照默认配置即可。 https://www.v...
什么是 Microsoft Dataverse ？
lyh79925300的博客
02-20 841
Power Platform 中的 Power Automate、Power Apps、Power BI、Power Virtual Agents、AI Builder 都可以直接或通过内置连接器与 Dataverse 进行交互，这背后实际上就是 Dataverse API 提供的支持，因为有了 API ，用其他开发语言编写的程序也可以通过 Web API 的方式与 Dataverse 进行交互。Dataverse 的结构基于关联表，每张表类似 Excel 中的 Table 比如人员表就是存储人员信息的。
Data Service相关概念
搞怪的索引
11-13 3091
Data Services资源库  Data Services资源库是一套存储用户创建的和预定义的系统对象，源和目标元数据，和转换规则的表。在一个开放的客户、服务器平台上设置资源库来适应与其他企业工具之间共享元数据。将每个资源库存储在一个现存的RDBMS上。  每个资源库与一个或者多个运行你创建的作业的Data Services作业服务器相关联。   有两种类型的资源库： 
微软 dataverse
04-12
微软 Dataverse是一种跨平台的数据协作解决方案，它可以帮助应用程序创建、管理和共享数据集。Dataverse可以用于任何需要对数据进行协作管理的应用程序，包括科学、教育、医疗、财务等多个领域。它支持数据集的版本...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值