DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客

目标：利用 jupyterhub 自定义 spawner batchspawner 在PBS批量集群上运行Notebook。架构图运行截图软件版本软件版本下载地址pbspbspro_19.1.3.centos_7https://github.com/openpbs/openpbs/releases/jupyterhub1.2.2pip install jupyterhub==1.2.2batchspawner1.1.0pip instal

添加 jupytherhub 用户[root@node1 bin]# adduser jupyterhub[root@node1 bin]# passwd jupyterhub安装Miniconda3$ pwd/home/jupyterhub$ chmod +x ./Miniconda3-latest-Linux-x86_64.sh$ ./Miniconda3-latest-Linux-x86_64.sh安装 jupyterhub可以使用清华的conda源加速下载$ pwd/h

yum安装JDK先查看系统是否已有自带的jdkrpm -qa |grep javarpm -qa |grep jdkrpm -qa |grep gcj如果没有输出信息，则说明系统没有安装。如果有输出信息，则执行下面的命令卸载rpm -qa | grep java | xargs rpm -e --nodeps列出所有可安装的rpm软件包yum list java-1.8*安装yum install java-1.8.0-openjdk* -y验证是否安装成功java -ver

Table:iduseridnamemobiledep_nameaffiliation_companystation_areagoods_typeconsume_numts41xxxxxxx运营一分公司呼家楼站区口罩8002020-03-06 20:47:1842xxxxxxx运营二分公司双桥站区口罩232020-03-...

防盗链location ~* \.(gif|jpg|png)$ { # 只允许 192.168.0.1 请求资源 valid_referers none blocked 192.168.0.1; if ($invalid_referer) { rewrite ^/ http://$host/logo.png; }}根据文件类型设置过期时间lo...

资料：nameaddressMycat权威指南http://www.mycat.io/document/mycat-definitive-guide.pdfGitHubhttps://github.com/MyCATApache/Mycat-Server文档https://github.com/MyCATApache/Mycat-doc前置：cent...

前言：OAuth 2.0 是目前最流行的授权机制，用来授权第三方应用，获取用户数据。这个标准比较抽象，使用了很多术语，初学者不容易理解。其实说起来并不复杂，下面我就通过一个简单的类比，帮助大家轻松理解，OAuth 2.0 到底是什么。一、快递员问题我住在一个大型的居民小区。小区有门禁系统。进入的时候需要输入密码。我经常网购和外卖，每天都有快递员来送货。我必须找到一个办法，让快递...

阿里云代理仓库配置在项目根目录下的build.gradle的buildscript.repositories及allprojects.repositories闭包内的最前面（Gradle是从上往下寻找的，故要放到jcenter()及google()的前面），添加阿里云仓库服务的代理仓库地址，示例如下：buildscript { repositories { maven ...

版本：nameversionnacos1.1.0skywalking6.2.0elasticsearch6.3.2es集群管理工具 cerebro-0.8.3 https://github.com/lmenezes/cerebro前置：es、nacos至少各有一个开始：1.将 apache-skywalking-apm-6.2.0.zip...

背景：springboot微服务应用需要使用logback+elk统一日志管理。配合nacos使用：springboot读取配置文件是有优先级的，如果使用默认的logback.xml或者logback-spring.xml为配置文件名则会读取不到nacos上的配置。命名为logback-spring.xml程序只会在运行后一段时间内报错，一段时间后读取到nacos上的配置文件之后会正常，但...

背景在配置nginx反向代理的时候发现匹配路径上的一些问题。问题：1.如图这两种配置方式其实实现的代理是一样的效果。也就是说proxy_pass后没有追加匹配到的请求路径，真正的请求路径就是 https://qyapi.weixin.qq.com/cgi-bin2.如图中这种配置会追加匹配到的请求路径，也就是说真正的请求路径是 http://localhost:8848/nacos/v1...

idea使用maven引入外部依赖目录并打包为可执行的jar包,使用jd-gui反编译工具。

前言：nacos主要用作注册中心，配置中心。提供注册发现、动态配置功能sentinel从流量控制、熔断降级、系统负载保护等多个维度来帮助保护服务的稳定性Skywalking提供APM功能（链路追踪等）架构图：1.动态网关：gateway+nacos监听nacos的网关配置文件实现动态网关2.sentinel：添加登录认证，添加server.servlet.context-pa...

在支付系统的微服务架构中，基础服务的构建是重中之重， 本文重点分析如何使用Apache Thrift + Google Protocol Buffer来构建基础服务。一、RPC vs Restful在微服务中，使用什么协议来构建服务体系，一直是个热门话题。 争论的焦点集中在两个候选技术： (binary) RPC or Restful。以Apache Thrift为代表的二进制RPC，支持多...

Q&A1.win10系统安装Oracle11报错不满足最低要求下载好两个Oracle的安装压缩包文件，同时解压后，启动setup.exe，报错：[INS-13001]环境不满足最低要求。首先，打开文件夹，依次寻找目录为：database-stage-cvu,找到cvu_prereq.xml文件，用记事本打开，增添下面内容：<OPERATING_SYSTEM RELEASE="...

软件版本:软件版本压缩包包名seaweedfsseaweedfs-1.24linux_amd64.tar.gzhadoop2.7.1spark2.3.1依赖jar包版本mvnrepositoryseaweedfs-hadoop-client1.0.2https://mvnrepository.com/artifact/...

我们对Sentinel进行生产改造，支持nacos动态数据源，并集成到一个module中，使用时工程中只需配置nacos、sentinel相关配置 引入自动注册的module即可。使用 gateway+nacos实现动态路由。接入了skyWalking。持续开发中。。。...

参考Spring boot JPA使用：https://www.cnblogs.com/ityouknow/p/5891443.htmlQ:数据库设置默认值不起作用，使用jpa插入的是null?A:在实体类上添加注解@DynamicInsert@DynamicUpdate...

Spark+Alluxio性能调优十大技巧由于统一访问对象存储（如S3）和HDFS数据的场景的出现和普及，Apache Spark结合Alluxio的大数据栈越来越受欢迎。此外，越来越流行的计算与存储分离的架构导致计算端查询延迟增大。因此，Alluxio常被用作贴近计算端的热数据存储以提高性能。为了能够获得最佳性能，用户需要像使用其他技术栈组合一样遵循最佳的实战经验。本文介绍了在Alluxio上...

http://www.alluxio.com/blog/effective-spark-rdds-with-alluxioSpark的RDD本身数据就是存储到内存，但是如果数据量超大 spark cache 到内存 会导致性能显着下降。Alluxio允许将更大的数据集保存在内存中，从而实现更快的Spark应用程序。Alluxio还支持在内存中与多个Spark应用程序共享相同的数据集，这可以提高...