DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客

目标：利用 jupyterhub 自定义 spawner batchspawner 在PBS批量集群上运行Notebook。架构图运行截图软件版本软件版本下载地址pbspbspro_19.1.3.centos_7https://github.com/openpbs/openpbs/releases/jupyterhub1.2.2pip install jupyterhub==1.2.2batchspawner1.1.0pip instal

添加 jupytherhub 用户[root@node1 bin]# adduser jupyterhub[root@node1 bin]# passwd jupyterhub安装Miniconda3$ pwd/home/jupyterhub$ chmod +x ./Miniconda3-latest-Linux-x86_64.sh$ ./Miniconda3-latest-Linux-x86_64.sh安装 jupyterhub可以使用清华的conda源加速下载$ pwd/h

yum安装JDK先查看系统是否已有自带的jdkrpm -qa |grep javarpm -qa |grep jdkrpm -qa |grep gcj如果没有输出信息，则说明系统没有安装。如果有输出信息，则执行下面的命令卸载rpm -qa | grep java | xargs rpm -e --nodeps列出所有可安装的rpm软件包yum list java-1.8*安装yum install java-1.8.0-openjdk* -y验证是否安装成功java -ver

资料：nameaddressMycat权威指南http://www.mycat.io/document/mycat-definitive-guide.pdfGitHubhttps://github.com/MyCATApache/Mycat-Server文档https://github.com/MyCATApache/Mycat-doc前置：cent...

版本：nameversionnacos1.1.0skywalking6.2.0elasticsearch6.3.2es集群管理工具 cerebro-0.8.3 https://github.com/lmenezes/cerebro前置：es、nacos至少各有一个开始：1.将 apache-skywalking-apm-6.2.0.zip...

背景在配置nginx反向代理的时候发现匹配路径上的一些问题。问题：1.如图这两种配置方式其实实现的代理是一样的效果。也就是说proxy_pass后没有追加匹配到的请求路径，真正的请求路径就是 https://qyapi.weixin.qq.com/cgi-bin2.如图中这种配置会追加匹配到的请求路径，也就是说真正的请求路径是 http://localhost:8848/nacos/v1...

软件版本：软件版本jdkjdk1.8.0_191zookeeperzookeeper-3.4.12hadoophadoop-2.8.5alluxioalluxio-1.8.0-hadoop-2.8sparkspark-2.3.2-bin-hadoop2.7spark版本不对应，不推荐使用安装配置spark：解压：$ tar -...

service目录：/usr/lib/systemd/system重新加载service文件：systemctl daemon-reload开机自启：systemctl enable xxxxxx为service文件名启动：systemctl start xxx.service停止：systemctl stop xxx.service重启：systemctl ...

组件自启动方法一：1. 自己新建一个脚本,如DoctorAI-start_tomcat_es.sh经过后面的几个步骤后,这个脚本在开机的时候会执行,在这个脚本里面可以写你开机的时候想执行的命令,如启动tomcat,es等服务2. 在脚本中输入启动服务的命令,如(开机启动tomcat):#!/bin/sh#chkconfig: 2345 80 90#description:...

yum -y install dockermv /var/lib/docker /home/dockerln -s /home/docker/ /var/lib/dockerservice docker startsystemctl enable docker加速器（docker login daocloud.io）curl -sSL https://get.daocloud.io...

环境：centos7命令：systemctl start docker          systemctl status docker -l报错：Error starting daemon: SELinux is not supported with the overlay2 graph driver on this kernel. Either boot into a newer ...

监控elasticsearch可以用官方的X-Pack的Monitoring（监控组件）甚至用X-Pack的Machine Learning组件来创建需要的监控指标。本文用的是Grafana+python脚本实现监控es的功能。首先安装Grafana（涵盖了很多不同操作系统的安装方法）：    http://docs.grafana.org/installation/rpm/ 然后在仪表盘里找到e...

需要的组件：Prometheus ，node_exporter（也可以不要），mysql_exporter                    Grafana，Grafana的Prometheus-MySQL的仪表盘总结：掌握一些Prometheus语法，自己能写出想要的监控指标（有些仪表盘不兼容就需要自己改Prometheus的配置以及仪表盘的语法）改完之后的几个指标展示：...

行业内各巨头的自动化运维架构都各种功能各种酷炫，如下图，让人可望不可及。现在最终的样子大家都知道了，但问题是如何根据自己团队当前的情况一步步向那个目标演进？笔者所在团队，三个半开发，要维护几十台云机器，部署了十来个应用，这些应用90%都是遗留系统。应用系统的编译打包基本在程序员自己的电脑上。分支管理也清一色的 dev 分支开发，测试通过后，再合并到 master 分支。生产环境的应用配置要登录上具...