kongxx的专栏_kongxx_CSDN博客-Java,Linux,Python领域博主

原创 Prometheus学习之Blackbox

简介Prometheus 的探针监控可以在应用程序的外部对应用程序进行探测，比如：探测机器的 http 服务是否工作正常等。这里就看看怎样使用 Prometheus 的 Blackbox Exporter 来实现这个功能。Prometheus 的 Blackbox Exporter 允许通过 HTTP/HTTPS，TCP 和 ICMP 等来探测端点。安装首先从 https://prome...

2020-02-16 18:33:19 1376 2

新年新装的 CentOS8 系统，装完发现没有 Docker 了，后来发现 CentOS8 使用 Podman 作为默认的容器管理工具了，大概看了一下帮助，其实 Podman 的用法几乎和原来的 docker 一样，命令基本都一样。下面就看看 Podman 怎样来管理容器吧。安装CentOS8 使用了 dnf 来做包管理器，当然 yum 也还是可以继续使用。$ sudo dnf instal...

2020-02-04 19:48:37 2237

原创 Prometheus学习之机器监控

Prometheus 使用 exporter 工具来暴露主机和应用程序上的指标。今天我们就使用 node_exporter 来收集各种主机指标数据（如：CPU、内存和磁盘等）。安装node_exporter从　Prometheus　的官网下载安装包，这里下载的是　Linux 安装包。下载地址： https://prometheus.io/download/安装包： node_export...

2020-02-04 18:28:17 753

原创 Prometheus学习之安装

##　简介Prometheus,一个开源的监控系统，它通过获取应用程序中实时时间序列数据，然后根据强大的规则引擎，帮助用户监控机器和应用程序。安装首先从　Prometheus　的官网下载安装包，这里下载的是　Linux 安装包。下载地址： https://prometheus.io/download/安装包： prometheus-2.15.2.linux-amd64.tar.gzPr...

2020-02-03 13:07:02 397

原创 ArangoDB与SpringData集成

今天看看 ArangoDB 怎样与 Spring Data 集成使用。创建工程首先访问 https://start.spring.io 创建一个 spring-boot 项目。然后添加如下依赖 <dependency> <groupId>com.arangodb</groupId> <artifactId>arangodb-spr...

2020-02-02 15:12:32 556

原创使用Java驱动操作ArangoDB

前面说过怎样使用 ArangoDB 的 Web，Shell 和 Restful API 来操作数据库，今天看一下怎样使用Java语言来操作ArangoDB数据库。首先创建一个Maven工程，添加 ArangoDB 的 Java 驱动库 <dependency> <groupId>com.arangodb</groupId> <artifa...

2020-02-01 08:56:35 611

原创使用Python操作ArangoDB

前面说过怎样使用 ArangoDB 的 Web，Shell 和 Restful API 来操作数据库，今天看一下怎样使用Python语言来操作ArangoDB数据库。要通过 Python 脚本来访问 ArangoDB，我们需要先安装 pyArango 库$ pip install pyArango下面写了一个简单的 Python 脚本，其中包含了一些常用的操作，如：创建连接，数据库操作，集...

2020-01-31 11:31:14 537

原创 ArangoDB Restful API

ArangoDB 除了提供 Web 和 shell 接口来管理数据库之外，还可以使用 Restful API 的方式来管理数据库。数据库操作数据库查询当前数据库版本$ curl -u $USERNAME:$PASSWORD -s -X GET http://localhost:8529/_db/mydb/_api/version | json_reformat{ "server"...

2020-01-30 11:17:27 427

原创 ArangoDB文档操作

通过ArangoDB提供的shell终端，我们可以执行很多文档集合操作，下面就看看一些常用的方法。$ arangosh --server.username root --server.password <password> --server.database mydb127.0.0.1:8529@mydb> db.users.insert({ name: "user1", ...

2020-01-30 09:43:23 335

原创 ArangoDB集合操作

通常我们可以通过 ArangoDB 提供的 Web 接口来对 ArangoDB 进行监控和管理。但今天来看看怎样通过 arangosh 的方式来对数据库进行操作。连接数据库首先通过 arangosh 命令来进入 arangodb 的 shell 终端。$ arangosh进入 shell 终端后，可以通过输入 help 来查看帮助。ArangoDB 中的数据库操作都是通过 db.xxx...

2020-01-29 10:57:14 699

原创 ArangoDB安装

ArangoDB安装ArangoDB的安装还是挺简单的，官方给了各个平台的安装包，下面是在CentOS8上面安装的步骤。从官方网站下载了两个 rpm 包arangodb3-3.6.0-1.0.x86_64.rpmarangodb3-client-3.6.0-1.0.x86_64.rpm安装$ sudo yum install arangodb3-3.6.0-1.0.x86_64.r...

2020-01-28 20:32:19 412

原创 CouchDB查询文档

接前一篇文章，今天看看怎样在CouchDB数据库中使用索引和执行查询等操作。在CouchDB中对文档的查询可以通过_find命令来实现，_find命令也需要使用POST方法请求，提交的数据是一个JSON对象。准备测试数据先准备一个数据库和一些测试数据# 创建一个users数据库$ curl -X PUT http://localhost:5984/users{"ok":true}#...

2020-01-27 17:18:07 1005

原创 CouchDB入门

配置yum源在CentOS8上默认的yum源是没有couchdb包的，因此需要添加couchdb的yum源。创建一个新文件 /etc/yum.repos.d/bintray-apache-couchdb-rpm.repo，内容如下：[bintray--apache-couchdb-rpm]name=bintray--apache-couchdb-rpmbaseurl=http://apac...

2020-01-26 21:40:09 457

原创 Nginx四层反向代理

安装Nginxyum install epel-releaseyum install nginx安装完成后启动Nginx验证一下安装。systemctl start nginx或者直接使用命令启动nginx通过浏览器访问一下页面测试一下Nginx的安装。配置反向代理备份一下 /etc/nginx/nginx.conf 文件，然后编辑此文件，内容如下：worker_proce...

2020-01-25 10:38:15 1893

原创使用Paramiko库sftp远程主机上传下载文件

前一篇文章说了怎样通过 Paramiko 来 SSH 到远程主机执行命令，今天看看怎样通过 Paramiko 使用 SFTP 来传输文件。import paramikotransport = paramiko.Transport((<host>, 22))transport.connect(username=<username>, password=<pas...

2019-12-29 14:51:50 240

原创使用Paramiko库ssh远程主机

安装pip install paramiko基于用户名密码的连接import paramikossh = paramiko.SSHClient()# 允许连接不在 know_hosts 文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())ssh.connect(<host>, 22, &l...

2019-12-29 14:49:32 305

原创 Linux两个小技巧

在使用公司环境申请的虚拟机的时候，老出现两个问题五分钟没有操作就自动登出不能使用上下箭头查看历史命令查了一下，原来就是几个环境变量在作祟超时登出问题是由于系统设置了TMOUT=300环境变量，可以通过取消这个环境变量或者增加超时时间解决，比如：unset TMOUT或者export TMOUT=3600不能查看历史命令是由于系统设置了HISTFILESIZE=0和HIS...

2019-12-20 21:21:52 247

原创 Vagrant实战之Vagrantfile

接上一篇文章，说说Vagrant的配置文件Vagrantfile参考: https://www.vagrantup.com/docs/vagrantfile/虚拟机创建好了后，很多配置都是使用的默认值，比如：机器名是localhost，网络使用的是NAT，内存是512m等。下面通过修改Vagrantfile文件来修改虚拟机的配置。Vagrantfile下面是修改后的配置文件# -*- ...

2019-12-18 21:46:40 165

原创 Vagrant实战

介绍平时工作一直在Linux上做开发，Docker用的比较多，最近要用Vagrant搭建Linux开发环境，所以用了一下，整理一些资料。Vagrant其实是一个可以方便设置使用虚拟机的工具，底层支持VirtualBox和VMWare，我的Windows机器上已经安装了VirtualBox，我就基于VirtualBox说说怎么使用吧。安装首先从下面地址下载vagrant安装包，直接安装可执行...

2019-12-16 22:40:00 673 1

原创启动nfs服务时报错 systemd: rpcbind.socket failed to listen on sockets: Address family not supported by pro

问题描述在使用 “sudo systemctl restart nfs” 命令启动 nfs 服务时报错，/var/log/message 文件中有如下错误Sep 29 09:39:47 myhost systemd: Starting Preprocess NFS configuration...Sep 29 09:39:47 myhost systemd: rpcbind.socket f...

2019-09-30 18:45:02 1479 1

原创 HBase权限控制

修改 hbase-site.xml 文件<property> <name>hbase.superuser</name> <value>hbase</value></property><property> <name>hbase.coprocessor.region.classes&lt...

2019-09-23 12:56:39 291

原创 Singularity入门之乱七八糟

配置文件路径singularity.conf: /etc/singularity/singularity.conf (CentOS7)cgroups.toml: /etc/singularity/cgroups/cgroups.toml指定用户运行Singularity 运行容器的时候默认会使用当前用户来运行容器，但是对于有些由于安全问题必须使用root来运行的容器，默认就是root了...

2019-09-15 10:29:14 896 4

原创 Singularity入门之资源限制

在 Singularity 中如果需要限制容器的资源，也可以通过 Linux 的 cgroup 来实现。Singularity 对资源的限制是通过一个 .toml 文件来定义的，Singularity 提供了一个样例配置文件 /etc/singularity/cgroups/cgroups.toml，后面做资源限制的时候可以参考。如果要使用 Singularity 来限制资源，需要在启动容器的时...

2019-09-14 12:50:11 368

原创 Singularity入门之持久化Overlay

介绍在 Singularity 中运行容器，当容器退出时，对容器做的修改均会丢失，那怎么保存对容器的修改呢？此时我们可以通过 Singularity 的 Overlay 实现。Singularity 的 Overlay 其实就是一个目录或文件系统镜像，其中保存着对基于基础镜像的修改，可以使用 --overlay 选项来使用，且应用在下面几个容器命令上：runexecshellinst...

2019-09-13 14:25:10 482

原创 auto-sklearn环境报错 AttributeError: module 'pandas' has no attribute 'core'

安装了最新的 auto-sklearn 库，运行例子是报错AttributeError: module 'pandas' has no attribute 'core'最后发现是 pandas 库的版本问题。安装 auto-sklearn 时安装的 pandas 版本是 0.25.1，这个版本有问题，需要安装 0.22 版的 pandas。重新安装 pandaspip install p...

2019-09-09 08:41:36 3290

原创 Singularity入门之通过镜像定义文件创建镜像

镜像配置文件下面以 Redis 数据库为例，主要说说 %startscript 和 %runscript 的区别。看下面 redis.def 配置文件Bootstrap:libraryFrom: ubuntu:18.04%help Redis 5.0.0 for Ubuntu%post apt-get update apt-get install -y wget build-...

2019-09-05 08:56:01 1533

原创 minikube中下载镜像错误Couldn't connect: SOCKS protocol error

问题描述在启动 minikube 的时候使用的代理环境变量创建的 minikube 虚拟机，但是在下载或者查询镜像的时候会出错，比如下面两个命令都会报相似错误 “Couldn’t connect: SOCKS protocol error”# 在 minikube 虚拟机外执行$ kubectl run hello-minikube --image=k8s.gcr.io/echoserver...

2019-09-04 21:53:24 758

原创使用minikube搭建本地k8s集群

安装minikube我这里使用的是 rpm 包来安装$ wget -c https://storage.googleapis.com/minikube/releases/latest/minikube-1.3.1.rpm$ sudo yum localinstall minikube-1.3.1.rpm安装kubectl可以通过 yum 或下载可执行文件来安装$ sudo yum i...

2019-09-04 21:52:37 1498

原创使用Kind搭建本地k8s集群

介绍Kind 是 Kubernetes In Docker 的缩写，是使用 Docker 容器部署 Kubernetes 的工具。也是官方推荐的搭建本地集群的工具。安装 Kind$ curl -Lo ./kind https://github.com/kubernetes-sigs/kind/releases/download/v0.5.1/kind-$(uname)-amd64$ chm...

2019-09-04 08:35:35 2117

原创 Singularity升级

卸载旧版本以前装的Singularity版本比较低，最近要用新功能，只能升级了。因为以前Singularity安装的时候是使用自己编译的rpm安装的，所以要安装新版本，需要先卸载已安装的老版本。查询一下老版本的singularity包$ sudo rpm -qa | grep -i singularitysingularity-2.5.2-1.el7.x86_64singularity-...

2019-08-14 21:04:12 333

原创 Linux使用cgroup限制程序资源

以前一直在使用Docker来封装并限制容器资源，从而实现限制进程资源的目的。但Linux Docker底层是基于cgroup来实现的，于是乎今天就想起来试试直接使用cgroup来限制进程资源。下面就以要限制一个程序的内存为例，来看看怎么实现限制资源。对于其它的资源限制都可以使用类似方法。为了测试程序对内存的占用，先准备个python程序来消耗内存，代码如下：#!/usr/bin/python...

2019-08-03 13:35:25 1101

原创 Singularity入门之运行图形应用

要在 Singularity 中运行图形程序需要重新制作一个镜像，使其包含执行图形应用程序需要的环境和程序，这里还是通过 sandbox 的方式来制作一个可以运行图形程序镜像。首先以 root 身份运行命令创建一个 centos 的 sandbox。$ sudo singularity -d build --sandbox centos/ docker://centos如果已经下载过 ce...

2019-08-01 20:30:44 716

原创 Singularity入门之通过文件创建镜像

Singularity中也提供了类似Docker中通过Dockerfile来创建镜像的功能，我们可以把创建镜像的内容写到Singularity文件中，然后使用Singularity这个文件来构建镜像。创建Singularity文件创建一个Singularity文件，内容如下：Bootstrap: dockerFrom: ubuntu%post apt-get -y update...

2019-07-31 21:36:52 1254

原创 Singularity入门之通过沙盒创建镜像

准备镜像目录通过 “–sandbox” 选项指定一个目录来作为镜像运行目录。$ sudo singularity -d build --sandbox ubuntu/ docker://ubuntu运行并修改容器在此镜像目录之上运行容器，这里需要使用 “–writable” 选项来使其可写。$ sudo singularity shell --writable ubuntu/# 在...

2019-07-31 21:35:51 1275

原创 Singularity入门之运行容器

下载已存在镜像和Docker类似，要运行 Singularity 也需要先获取镜像，Singularity 可以从Singularity Hub 或者 Docker Hub 来获取已存在的镜像。Singularity Hubsingularity -d build lolcow.simg shub://GodloveD/lolcowDocker Hubsingularity -d bu...

2019-07-31 21:34:09 5894 1

原创 Singularity入门之安装

下载$ VERSION=2.5.2$ wget https://github.com/singularityware/singularity/releases/download/$VERSION/singularity-$VERSION.tar.gz编译rpm包Singularity 提供了几种安装方式，这里选择使用编译 rpm 包的方式来安装。$ tar xvf singularit...

2019-07-31 21:32:46 2291

原创 Xpra使用入门（三）

Xpra 除了可以向前两篇博客中写的那样使用意外，还提供了使用 HTML5 客户端连接的方式来使用。首先启动 xpra 服务，这里需要使用 “–html=on” 开关来允许 xpra 服务接受 html5 的客户端连接。xpra start --bind-tcp=0.0.0.0:12345 --html=on --start=xterm然后通过浏览器访问 http://:12345 来连接...

2019-06-13 09:05:52 540

原创 Xpra使用入门（二）

前一篇博客说了怎样安装和使用Xpra，其中xpra是通过类似ssh -X方式来工作的，并且是在一个命令中实现的。其实 xpra 也可以分部使用，首先启动 xpra 在指定的 DISPLAY 上，比如启动 xpra 在 DISPLAY=:9 上xpra start :9 --start=xterm然后使用 attach 的方式连到 xpra 服务上# attach到本地的xpra（如果本地...

2019-06-13 09:04:50 1064

原创 Xpra使用入门

Xpra 是一个开源的跨平台远程显示服务器和客户端工具，可以用来转发图形应用和桌面。这里以 CentOS7 系统为例，演示一下怎样使用 Xpra 转发图形应用和桌面。安装# cd /etc/yum.repos.d/# wget -c https://xpra.org/repos/CentOS/xpra.repo# yum install xpra其它版本的 Xpra 可以参考 http...

2019-06-12 13:10:26 1511

原创 Xephyr以一个 X 应用的方式运行一个嵌套的 X 服务

前段时间无意间看到Xephyr，一个以 X 应用的方式运行一个嵌套的 X 服务器，看介绍说明比较绕，我也就不饶了，看个例子它能干啥吧。这里假设我们想在linux机器上的一个嵌套的 X 服务中启动一个应用程序或者图形桌面。安装Xephyr我们先在host1上安装 Xephyrsudo yum install xorg-x11-server-Xephyr启动Xephyr在host1上启动...

2019-06-10 17:56:45 599