kongxx的专栏

简介Prometheus 的探针监控可以在应用程序的外部对应用程序进行探测，比如：探测机器的 http 服务是否工作正常等。 这里就看看怎样使用 Prometheus 的 Blackbox Exporter 来实现这个功能。Prometheus 的 Blackbox Exporter 允许通过 HTTP/HTTPS，TCP 和 ICMP 等来探测端点。安装首先从 https://prome...

新年新装的 CentOS8 系统，装完发现没有 Docker 了，后来发现 CentOS8 使用 Podman 作为默认的容器管理工具了，大概看了一下帮助，其实 Podman 的用法几乎和原来的 docker 一样，命令基本都一样。下面就看看 Podman 怎样来管理容器吧。安装CentOS8 使用了 dnf 来做包管理器，当然 yum 也还是可以继续使用。$ sudo dnf instal...

Prometheus 使用 exporter 工具来暴露主机和应用程序上的指标。今天我们就使用 node_exporter 来收集各种主机指标数据（如：CPU、 内存和磁盘等）。安装node_exporter从　Prometheus　的官网下载安装包，这里下载的是　Linux 安装包。下载地址： https://prometheus.io/download/安装包： node_export...

##　简介Prometheus,一个开源的监控系统，它通过获取应用程序中实时时间序列数据，然后根据强大的规则引擎，帮助用户监控机器和应用程序。安装首先从　Prometheus　的官网下载安装包，这里下载的是　Linux 安装包。下载地址： https://prometheus.io/download/安装包： prometheus-2.15.2.linux-amd64.tar.gzPr...

今天看看 ArangoDB 怎样与 Spring Data 集成使用。创建工程首先访问 https://start.spring.io 创建一个 spring-boot 项目。然后添加如下依赖 <dependency> <groupId>com.arangodb</groupId> <artifactId>arangodb-spr...

前面说过怎样使用 ArangoDB 的 Web，Shell 和 Restful API 来操作数据库，今天看一下怎样使用Java语言来操作ArangoDB数据库。首先创建一个Maven工程，添加 ArangoDB 的 Java 驱动库 <dependency> <groupId>com.arangodb</groupId> <artifa...

前面说过怎样使用 ArangoDB 的 Web，Shell 和 Restful API 来操作数据库，今天看一下怎样使用Python语言来操作ArangoDB数据库。要通过 Python 脚本来访问 ArangoDB，我们需要先安装 pyArango 库$ pip install pyArango下面写了一个简单的 Python 脚本，其中包含了一些常用的操作，如：创建连接，数据库操作，集...

ArangoDB 除了提供 Web 和 shell 接口来管理数据库之外，还可以使用 Restful API 的方式来管理数据库。数据库操作数据库查询当前数据库版本$ curl -u $USERNAME:$PASSWORD -s -X GET http://localhost:8529/_db/mydb/_api/version | json_reformat{ "server"...

通过ArangoDB提供的shell终端，我们可以执行很多文档集合操作，下面就看看一些常用的方法。$ arangosh --server.username root --server.password <password> --server.database mydb127.0.0.1:8529@mydb> db.users.insert({ name: "user1", ...

通常我们可以通过 ArangoDB 提供的 Web 接口来对 ArangoDB 进行监控和管理。但今天来看看怎样通过 arangosh 的方式来对数据库进行操作。连接数据库首先通过 arangosh 命令来进入 arangodb 的 shell 终端。$ arangosh进入 shell 终端后，可以通过输入 help 来查看帮助。ArangoDB 中的数据库操作都是通过 db.xxx...

ArangoDB安装ArangoDB的安装还是挺简单的，官方给了各个平台的安装包，下面是在CentOS8上面安装的步骤。从官方网站下载了两个 rpm 包arangodb3-3.6.0-1.0.x86_64.rpmarangodb3-client-3.6.0-1.0.x86_64.rpm安装$ sudo yum install arangodb3-3.6.0-1.0.x86_64.r...

接前一篇文章，今天看看怎样在CouchDB数据库中使用索引和执行查询等操作。在CouchDB中对文档的查询可以通过_find命令来实现，_find命令也需要使用POST方法请求，提交的数据是一个JSON对象。准备测试数据先准备一个数据库和一些测试数据# 创建一个users数据库$ curl -X PUT http://localhost:5984/users{"ok":true}#...

配置yum源在CentOS8上默认的yum源是没有couchdb包的，因此需要添加couchdb的yum源。创建一个新文件 /etc/yum.repos.d/bintray-apache-couchdb-rpm.repo，内容如下：[bintray--apache-couchdb-rpm]name=bintray--apache-couchdb-rpmbaseurl=http://apac...

安装Nginxyum install epel-releaseyum install nginx安装完成后启动Nginx验证一下安装。systemctl start nginx或者直接使用命令启动nginx通过浏览器访问一下页面测试一下Nginx的安装。配置反向代理备份一下 /etc/nginx/nginx.conf 文件，然后编辑此文件，内容如下：worker_proce...

前一篇文章说了怎样通过 Paramiko 来 SSH 到远程主机执行命令，今天看看怎样通过 Paramiko 使用 SFTP 来传输文件。import paramikotransport = paramiko.Transport((<host>, 22))transport.connect(username=<username>, password=<pas...

安装pip install paramiko基于用户名密码的连接import paramikossh = paramiko.SSHClient()# 允许连接不在 know_hosts 文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())ssh.connect(<host>, 22, &l...

在使用公司环境申请的虚拟机的时候，老出现两个问题五分钟没有操作就自动登出不能使用上下箭头查看历史命令查了一下，原来就是几个环境变量在作祟超时登出问题是由于系统设置了TMOUT=300环境变量，可以通过取消这个环境变量或者增加超时时间解决，比如：unset TMOUT或者export TMOUT=3600不能查看历史命令是由于系统设置了HISTFILESIZE=0和HIS...

接上一篇文章，说说Vagrant的配置文件Vagrantfile参考: https://www.vagrantup.com/docs/vagrantfile/虚拟机创建好了后，很多配置都是使用的默认值，比如：机器名是localhost，网络使用的是NAT，内存是512m等。下面通过修改Vagrantfile文件来修改虚拟机的配置。Vagrantfile下面是修改后的配置文件# -*- ...

介绍平时工作一直在Linux上做开发，Docker用的比较多，最近要用Vagrant搭建Linux开发环境，所以用了一下，整理一些资料。Vagrant其实是一个可以方便设置使用虚拟机的工具，底层支持VirtualBox和VMWare，我的Windows机器上已经安装了VirtualBox，我就基于VirtualBox说说怎么使用吧。安装首先从下面地址下载vagrant安装包，直接安装可执行...

问题描述在使用 “sudo systemctl restart nfs” 命令启动 nfs 服务时报错，/var/log/message 文件中有如下错误Sep 29 09:39:47 myhost systemd: Starting Preprocess NFS configuration...Sep 29 09:39:47 myhost systemd: rpcbind.socket f...

修改 hbase-site.xml 文件<property> <name>hbase.superuser</name> <value>hbase</value></property><property> <name>hbase.coprocessor.region.classes<...

配置文件路径singularity.conf: /etc/singularity/singularity.conf (CentOS7)cgroups.toml: /etc/singularity/cgroups/cgroups.toml指定用户运行Singularity 运行容器的时候默认会使用当前用户来运行容器，但是对于有些由于安全问题必须使用root来运行的容器，默认就是root了...

在 Singularity 中如果需要限制容器的资源，也可以通过 Linux 的 cgroup 来实现。Singularity 对资源的限制是通过一个 .toml 文件来定义的，Singularity 提供了一个样例配置文件 /etc/singularity/cgroups/cgroups.toml，后面做资源限制的时候可以参考。如果要使用 Singularity 来限制资源，需要在启动容器的时...

介绍在 Singularity 中运行容器，当容器退出时，对容器做的修改均会丢失，那怎么保存对容器的修改呢？此时我们可以通过 Singularity 的 Overlay 实现。Singularity 的 Overlay 其实就是一个目录或文件系统镜像，其中保存着对基于基础镜像的修改，可以使用 --overlay 选项来使用，且应用在下面几个容器命令上：runexecshellinst...

安装了最新的 auto-sklearn 库，运行例子是报错AttributeError: module 'pandas' has no attribute 'core'最后发现是 pandas 库的版本问题。安装 auto-sklearn 时安装的 pandas 版本是 0.25.1，这个版本有问题，需要安装 0.22 版的 pandas。重新安装 pandaspip install p...

镜像配置文件下面以 Redis 数据库为例，主要说说 %startscript 和 %runscript 的区别。看下面 redis.def 配置文件Bootstrap:libraryFrom: ubuntu:18.04%help Redis 5.0.0 for Ubuntu%post apt-get update apt-get install -y wget build-...

问题描述在启动 minikube 的时候使用的代理环境变量创建的 minikube 虚拟机，但是在下载或者查询镜像的时候会出错，比如下面两个命令都会报相似错误 “Couldn’t connect: SOCKS protocol error”# 在 minikube 虚拟机外执行$ kubectl run hello-minikube --image=k8s.gcr.io/echoserver...

安装minikube我这里使用的是 rpm 包来安装$ wget -c https://storage.googleapis.com/minikube/releases/latest/minikube-1.3.1.rpm$ sudo yum localinstall minikube-1.3.1.rpm安装kubectl可以通过 yum 或下载可执行文件来安装$ sudo yum i...

介绍Kind 是 Kubernetes In Docker 的缩写，是使用 Docker 容器部署 Kubernetes 的工具。也是官方推荐的搭建本地集群的工具。安装 Kind$ curl -Lo ./kind https://github.com/kubernetes-sigs/kind/releases/download/v0.5.1/kind-$(uname)-amd64$ chm...

卸载旧版本以前装的Singularity版本比较低，最近要用新功能，只能升级了。因为以前Singularity安装的时候是使用自己编译的rpm安装的，所以要安装新版本，需要先卸载已安装的老版本。查询一下老版本的singularity包$ sudo rpm -qa | grep -i singularitysingularity-2.5.2-1.el7.x86_64singularity-...

以前一直在使用Docker来封装并限制容器资源，从而实现限制进程资源的目的。但Linux Docker底层是基于cgroup来实现的，于是乎今天就想起来试试直接使用cgroup来限制进程资源。下面就以要限制一个程序的内存为例，来看看怎么实现限制资源。对于其它的资源限制都可以使用类似方法。为了测试程序对内存的占用，先准备个python程序来消耗内存，代码如下：#!/usr/bin/python...

要在 Singularity 中运行图形程序需要重新制作一个镜像，使其包含执行图形应用程序需要的环境和程序，这里还是通过 sandbox 的方式来制作一个可以运行图形程序镜像。首先以 root 身份运行命令创建一个 centos 的 sandbox。$ sudo singularity -d build --sandbox centos/ docker://centos如果已经下载过 ce...

Singularity中也提供了类似Docker中通过Dockerfile来创建镜像的功能，我们可以把创建镜像的内容写到Singularity文件中，然后使用Singularity这个文件来构建镜像。创建Singularity文件创建一个Singularity文件，内容如下：Bootstrap: dockerFrom: ubuntu%post apt-get -y update...

准备镜像目录通过 “–sandbox” 选项指定一个目录来作为镜像运行目录。$ sudo singularity -d build --sandbox ubuntu/ docker://ubuntu运行并修改容器在此镜像目录之上运行容器，这里需要使用 “–writable” 选项来使其可写。$ sudo singularity shell --writable ubuntu/# 在...

下载已存在镜像和Docker类似，要运行 Singularity 也需要先获取镜像，Singularity 可以从Singularity Hub 或者 Docker Hub 来获取已存在的镜像。Singularity Hubsingularity -d build lolcow.simg shub://GodloveD/lolcowDocker Hubsingularity -d bu...

下载$ VERSION=2.5.2$ wget https://github.com/singularityware/singularity/releases/download/$VERSION/singularity-$VERSION.tar.gz编译rpm包Singularity 提供了几种安装方式，这里选择使用编译 rpm 包的方式来安装。$ tar xvf singularit...

Xpra 除了可以向前两篇博客中写的那样使用意外，还提供了使用 HTML5 客户端连接的方式来使用。首先启动 xpra 服务，这里需要使用 “–html=on” 开关来允许 xpra 服务接受 html5 的客户端连接。xpra start --bind-tcp=0.0.0.0:12345 --html=on --start=xterm然后通过浏览器访问 http://:12345 来连接...

前一篇博客说了怎样安装和使用Xpra，其中xpra是通过类似ssh -X方式来工作的，并且是在一个命令中实现的。其实 xpra 也可以分部使用，首先启动 xpra 在指定的 DISPLAY 上，比如启动 xpra 在 DISPLAY=:9 上xpra start :9 --start=xterm然后使用 attach 的方式连到 xpra 服务上# attach到本地的xpra（如果本地...

Xpra 是一个开源的跨平台远程显示服务器和客户端工具，可以用来转发图形应用和桌面。这里以 CentOS7 系统为例，演示一下怎样使用 Xpra 转发图形应用和桌面。安装# cd /etc/yum.repos.d/# wget -c https://xpra.org/repos/CentOS/xpra.repo# yum install xpra其它版本的 Xpra 可以参考 http...

前段时间无意间看到Xephyr，一个以 X 应用的方式运行一个嵌套的 X 服务器，看介绍说明比较绕，我也就不饶了，看个例子它能干啥吧。这里假设我们想在linux机器上的一个嵌套的 X 服务中启动一个应用程序或者图形桌面。安装Xephyr我们先在host1上安装 Xephyrsudo yum install xorg-x11-server-Xephyr启动Xephyr在host1上启动...

问题描述Struts2的工程，使用了Convention Plugin，在eclipse里测试的时候可以运行，但是部署到WebLogi中时报错找不到Action。解决办法先看看工程的 src/main/resources/META-INF 目录下有没有文件，如果目录不存在或者其下没有文件，随便创建一个test.xml文件。修改 src/main/resources/struts.x...

现在的Ubuntu版本默认sh都是使用的dash，用起来实在是别扭，所以找了一下，发现可以通过设置，修改为原来的bash。首先查看系统的/bin/sh$ ls -al /bin/sh/bin/sh -> dash切换sh为bash$ sudo dpkg-reconfigure dash查看切换后的结果$ ls -al /bin/sh/bin/sh -> bash...

在WebSphere8.5.5.2中默认使用的是JDK6，如果想升级成JDK7，可以使用下面方法。查看一下WebSphere已有的JDK版本# cd /opt/IBM/WebSphere/AppServer/profiles/AppSrv01# bin/managesdk.sh -listAvailableCWSDK1003I: Available SDKs :CWSDK1005I: S...

在Mac上，默认情况对NTFS磁盘的挂载方式是只读(read-only)的，其实Mac原生是支持NTFS的，但是后来由于微软的限制，苹果把这个功能给屏蔽了，但是我们可以通过命令行方式打开这个选项。接入移动硬盘后，我们首先查看一下挂载信息$ sudo mount...$ /dev/disk2s1 on /Volumes/新加卷 (ntfs, local, nodev, nosuid, re...

今天要做一个Flink的测试，因此需要创建一个简单的Flink项目，于是找到了下面这种方式来创建一个Flink启动项目。通过运行下面的命令来创建一个项目curl https://flink.apache.org/q/quickstart-scala.sh | bash也可以根据 quickstart-scala.sh 文件中的内容，使用maven命令来生成自己的项目，比如：mvn arc...

今天在安装Nvidia驱动（NVIDIA-Linux-x86_64-418.56.run）的时候，提示需要“disable the Nouveau kernel driver”。解决办法如下：修改 /etc/modprobe.d/blacklist.conf 文件blacklist nouveau备份 initramfs$ sudo mv /boot/initramfs-$(u...

在CentOS Linux上我们通常都是修改 /etc/inittab 文件，在其中加入 “id::initdefault:” 来设置系统启动模式，但是在 CentOS7 上发现这个文件似乎是没用了，修改后重启机器并不会启动机器到设置的模式。于是乎，仔细看了一下 /etc/inittab 文件中的注释，发现现在是使用 “systemctl get-default” 和 “systemctl se...

由于公司使用的代码管理工具还是 subversion，每次都命令行使用实在有点不方便，于是乎想到了找一个 Linux 平台的可视化 subversion 工具，因为自己的工作环境的机器基本都是 CentOS7.X，找了几个安装都有问题，最后想到是不是可以用 docker 来实现，这样弄想起来都挺美气的。Dockerfilefrom ubuntuRUN apt-get updateRUN ...

问题描述今天试着在python3.7.2上安装最新的superset（0.28.1），在初始化数据库的时候报如下错误：$ superset db upgrade...Traceback (most recent call last): File "/home/jhadmin/.pyenv/versions/myenv-3.7.2/bin/superset", line 15, in &...

问题描述今天试着在python3.7.2上安装最新的superset（0.28.1），在创建管理员用户的时候报如下错误：$ fabmanager create-admin --app superset...Was unable to import superset Error: cannot import name '_maybe_box_datetimelike' from 'panda...

以前写过一篇博客介绍过怎样允许非root用户来访问Docker，当时的方法是将用户加入的docker组里，这样做安全是安全了，但是实在是太麻烦了，对于我这种安全要求不太高的情况，实在是不合适。于是想能不能有啥办法一劳永逸的解决这个问题。你还别说，还真有办法，你们说神奇不。呵呵，就是这么神奇。解决办法就是修改 /var/run/docker.sock 文件的权限，让普通用户也可以访问。先查看一下...

简介高通量测序下机的原始数据中存在一些低质量数据、接头以及barcode序列等，为消除其对后续分析准确性产生的影响，在数据下机以后对原始数据进行质控处理就成了至关重要的环节。Trimmomatic就是一个高通量测序数据质控神器，可以对测序数据进行过滤。Trimmomatic 支持多线程，处理数据速度快，主要用来去除 Illumina 平台的 Fastq 序列中的接头，并根据碱基质量值对 Fas...

简介SPAdes 是由俄罗斯科学院 St. Petersburg Academic University 与美国科学家合作开发的主要应用于小型基因组如细菌，真菌等基因组测序数据的拼接软件。目前的最新版本 v3.6.2 可以支持常见的 illumina miseq/hiseq 和 ion torrent 测序数据，对单分子测序平台的 pacbio 和 nanopore 的测序数据也能进行拼装，还能...

Canu简介Canu是Celera的继任者，能用于组装PacBio和Nanopore两家公司得到的测序结果。Canu分为三个步骤：纠错，修整和组装。下载测试数据# 下载 pacbio 测试数据wget -c http://gembox.cbcb.umd.edu/mhap/raw/ecoli_p6_25x.filtered.fastq -O pacbio.fastq# 下载 nanop...

问题说明今天公司的build机器上使用 docker run 命令来启动容器的时候，突然出现下面的错/usr/bin/docker-current: Error response from daemon: devmapper: Thin Pool has 155398 free data blocks which is less than minimum required 163840 fre...

由于远程使用vnc分辨率的问题，修改了我的linux桌面字体，对于netbeans中的编辑字体可以通过netbeans的参数设置修改，但是对于菜单却没找到地方修改，导致菜单字体就一丢丢大，看不清呀看不清。后来发现可以通过修改netbeans的启动参数来实现。编辑netbeans安装目录下的 etc/netbeans.conf 文件，在 netbeans_default_options 参数最后添...

python使用phoenixdb操作hbase接前一篇：使用phoenix查询hbase今天看看怎样在 python 中使用 phoenixdb 来操作 hbase安装 phoenixdb 库pip install phoenixdb例子首先启动 queryserver 服务cd apache-phoenix-4.14.1-HBase-1.4-bin/bin./queryser...

今天需要从的 hbase 使用 sql 来查询数据，于是想到了使用 phoenix 工具，在自己的环境里大概试了一下，一下子就通了，就这么神奇。下载安装首先从 apache 下载 phoenix 包，这里因为我的hbase hbase-1.4.9 版，所以我下载的对应的版本 apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz下载后解压之 apache-pho...

SSH端口转发今天碰到一个需求，在用户环境中，如果要访问机房里某个机器上，必须通过一个机器中转才可以，如果仅仅是SSH登录一下，我也就忍了，毕竟跳跳更健康嘛。但是今天要访问里面机器上的Web服务，我可以纠结了一会，后来想到了可以使用SSH的端口转发来实现。下面就看看怎么实现吧。这里假定两台机器，host1 和 host2，其中 host1 是我的桌面机器能访问的，host2 是我的桌面机器不能...

最近在多个项目之间来回切换，其中不同项目需要使用同一个库的不同版本，来回切换太麻烦，于是乎，想到了曾经有同事给我建议的环境自动加载工具direnv，可以使我在命令行中根据进入的目录不同，自动加载不同的环境配置。下面就看看怎么使用吧。下载安装可以从 https://github.com/direnv/direnv 下载自己操作系统的包。$ wget -c https://github.com/...

今天调研的时候看到了ttyd工具，一个可以简单的通过浏览器共享命令行工具，只需要在命令行运行一个命令，就可以通过浏览器来直接访问终端了。下面就看看怎么使用吧。下载安装# 在Linux上直接下载的二进制文件，下载后改名为ttyd$ wget -c -O ttyd https://github.com/tsl0922/ttyd/releases/download/1.4.2/ttyd_linux...

接前一篇博客，为了使webssh更容易安装部署，我在想是不是可以把webssh打包成一个独立的可执行文件，这样使用起来不是更方便呢。于是乎我想到了是不是可以使用PyInstaller来打包。准备测试环境这一步主要是准备一个干净的virtualenv环境，并安装pyinstaller和webssh。$ cd ~$ virtualenv myenv$ cd myenv$ . bin/act...

今天找到了一个使用python和js做的基于Web的SSH工具 webssh，大概试了一下，安装使用都比较方便，分享一下。这个工具是使用Python开发，可以从下面地址了解详情。https://github.com/huashengdun/websshhttps://pypi.org/project/webssh/安装pip install webssh运行服务# 直接运行ws...

今天调研基于Web的SSH的应用程序的时候无意间看到了一个Web Console的工具，虽然没有满足我的最终需求，但还是试了一下，可以当作一个受限的基于Web远程执行命令工具使用。下载并解压首先从 http://web-console.org/ 下载安装包，就是一个zip包 webconsole-0.9.7.zip，下载后解压。wget -c https://github.com/nicko...

用 Docker 的人都知道，我们在查询远端镜像仓库中镜像的时候，在命令行只能看到镜像名，说明等信息，而看不到标签。因此，如果我想要查看镜像有哪些标签，就只能通过网页的方式查看，比如通过 https://hub.docker.com/ 查看，这样实在是太麻烦，于是乎，我想是不是可以写个小工具来干这个事呢？答案当然是肯定的。下面就看看怎样实现的吧。写了个脚本 list_img_tags.sh，内容...

接前面的文章 “使用Sqoop从Postgresql中导入数据到Hive中”，今天看看怎样从 Postgresql 入数据到 HBase 中。这里有一点需要注意的是 Sqoop 1.4.7 目前不支持 HBase 2.x，所以准备了一个 hbase 1.4.9 的环境来做测试。配置进入 sqoop 的 conf 目录，修改 sqoop-env.sh 文件，如下：#Set path to w...

前些日子下载 Eclipse 的时候无意间看到了 “Eclipse Che”，一个高性能的基于浏览器的集成开发环境，说直白点就是浏览器版的 Eclipse，当时没有细看，今天花了点时间试用一下。Eclipse Che 都是基于 Docker 构建的，所以需要有 Docker 环境，并且创建的工作区和项目也都是在容器中运行。在 Eclipse Che 默认提供了很多语言支持，包括：C++、Go、J...

使用 Portainer 管理 Docker Swarm 集群关于怎样搭建使用Docker Swarm请参考 Docker使用Swarm组建集群安装$ sudo docker pull portainer/portainer使用创建 volume为了保存 portainer 的数据，这里创建了一个 volume，如下：$ sudo docker volume create po...

这里假定已经准备好了现成的Hadoop，Hive，Hbase，Zookeeper和一个postgresql数据库。下载安装从 http://mirror.bit.edu.cn/apache/sqoop/ 地址下载 sqoop 安装包，这里我使用的是1.4.7版本。wget -c http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.b...

发现一个好东西 Serveo，可以将局域网内的服务端口开放到互联网上，从而实现通过外网访问局域网。最主要这东西还不要安装，你说要命不。下面就看看怎么使用。这里先假定，我在局域网内启动了一个 web server，使用 8080 端口。开放本地服务在命令行使用下面命令来吧服务开放到互联网上。$ ssh -R 80:localhost:8080 serveo.netHi thereForw...

在 Ubuntu Server 14.04上默认的 OpenSSL 的版本还是 OpenSSL 1.0.1f，使用 apt-get 还无法升级，因此只能通过编译来安装了。查看现有版本/usr/bin/openssl versionOpenSSL 1.0.1f 6 Jan 2014下载并解压wget https://www.openssl.org/source/openssl-1.0.2...

今天在维护一个遗留了很久很久的用Java开发的系统的时候，在做了一些修改后，报了一个类找不到，由于这个系统实在是上了年纪了，里面很多类估计都有二十多岁了，实在不知道这个类是在哪个包里，于是乎想到能不能写个工具来查找，所以今天写了一个小代码，专门干这个事，记录一下也许以后还用得着。文件名：find_class.sh#!/bin/shfind_dir=$1find_key=$2jars=...

接我前面的文章，下载 pocketsphinx 和 中文模型文件。由于模型文件格式有一些要求，所以建议对模型文件的编辑都在Linux上完成。准备中文语言文件创建一个文本文件 my.txt，内容如下：测试直走左转右转后退开火靠喽生成语音模型文件和字典文件访问 http://www.speech.cs.cmu.edu/tools/lmtool-new.html 页面，上传 m...

接我前面的文章，下载 pocketsphinx 和 中文模型文件。由于模型文件格式有一些要求，所以建议对模型文件的编辑都在Linux上完成。准备中文语言文件创建一个文本文件 my.txt，内容如下：测试直走左转右转后退开火靠喽生成语音模型文件和字典文件访问 http://www.speech.cs.cmu.edu/tools/lmtool-new.html 页面，上传 m...

问题说明今天在使用 pocketsphinx_continuous 识别中文 wav 文件是，报如下错误：&gt; pocketsphinx_continuous -hmm zh_broadcastnews_ptm256_8000 -lm zh_broadcastnews_64000_utf8.DMP -dict zh_broadcastnews_utf8.dic -infile myfile...

前一篇博客说了一下怎么在 Windows 平台使用 pocketsphinx 做中文语音识别，今天看看在 Linux 上怎办实现。由于 pocketsphinx 没有提供 Linux 的二进制包，因此我们需要自己根据源码编译。下载从下面地址下载源代码https://sourceforge.net/projects/cmusphinx/files/这里，我使用的是 sphinxbase...

下载安装 pocketsphinx在 Windows 上，可以通过下面地址直接下载编译好的二进制可执行包。https://cmusphinx.github.io/wiki/download/注：下载其中 pocketsphinx 的 5prealpha 版本。下载后，解压之。下载模型文件模型文件下载地址https://sourceforge.net/projects/cmusp...

导出镜像docker save &lt;myimage&gt;:&lt;tag&gt; | gzip &gt; &lt;myimage&gt;_&lt;tag&gt;.tar.gz导入镜像gunzip -c &lt;myimage&gt;_&lt;tag&gt;.tar.gz | docker load

问题原因Ambari在注册节点的时候，ambari-agent报错EOF occurred in violation of protocol (_ssl.c:579)解决办法修改 /etc/ambari-agent/conf/ambari-agent.ini 文件，在 [security] 配置部分添加[security]...force_https_protocol=PROTOC...

今天在做中文语音识别的时候碰到需要将mp3文件转码为wav格式，且需要是单声道和16KHZ，想着linux上用命令行会比较简单，于是找到了mpg123工具。安装sudo yum install mpg123.x86_64使用mpg123 -m -r 16000 -w myfile.wav myfile.mp3...

问题描述Xcode 10.x 打包上传时报错，错误如下：ERROR ITMS-90174: “Missing Provisioning Profile - iOS Apps must contain a provisioning profile in a file named embedded.mobileprovision.”解决办法打开 Xcode -&gt; File -&gt; ...

要实现中文分词功能，大家基本上都是在使用 jieba 这个库来实现，下面就看看怎样实现一个简单文本分词功能。安装python的工具，安装当然是使用pip安装了。pip install jieba使用先看一个小例子，下面的代码是从一个文本文件中分词并统计出现频率最高的10个单词，并打印到控制台。#!/usr/bin/env python# -*- coding: utf-8 -*-...

要实现中文分词功能，大家基本上都是在使用 jieba 这个库来实现，下面就看看怎样实现一个简单文本分词功能。安装python的工具，安装当然是使用pip安装了。pip install jieba使用先看一个小例子，下面的代码是从一个文本文件中分词并统计出现频率最高的10个单词，并打印到控制台。#!/usr/bin/env python# -*- coding: utf-8 -*-...

最近要做个从 pdf 文件中抽取文本内容的工具，大概查了一下 python 里可以使用 pdfminer 来实现。下面就看看怎样使用吧。安装python的工具，安装当然是使用pip安装了。pip install pdfminer命令行方式为了使用方便，pdfminer 提供了一个命令行工具来直接转换pdf文件，使用方法如下：pdf2txt.py &lt;path_to_pdf_fil...

问题描述Android Studio启动模拟器报错Emulator: emulator: ERROR: OpenGLES emulation failed to initialize.问题原因问题原因是我使用了 Nexus 5X and Nexus 5 模拟器，而这两个镜像会强制设置 “Emulated Performance” 为 “Automatic Graphics”。解决办法...

问题描述启动Android Studio时，报如下错误：Emulator: qemu-system-x86_64: failed to initialize KVM: Device or resource busy解决办法sudo rmmod kvm_intel kvm

问题描述启动Android Studio时，报如下错误：Problems found loading plugins:Plugin "Android Games" was not loaded: required plugin "Android Support" is disabled.Plugin "Android NDK Support" was not loaded: require...

问题描述今天在Ubuntu上安装软件包的时候报错，如下：apt-get install nginxFailed to fetch http://mirrors.aliyuncs.com/ubuntu/pool/main/n/nginx/nginx_1.4.6-1ubuntu3.4_all.deb问题原因Ubuntu自带的一些源不好使导致的。解决办法删除 /var/lib/apt/l...

安装首先需要在系统上安装nginx软件，这里使用Ubuntu的apt来安装。sudo apt-get install nginx配置安装完成后，我们首先需要修改一个ngins的配置。这里假定我们已经有了个两个相同的web应用，分别使用的 8081 和 8082 端口。我们通过nginx的8080端口代理这两个web应用。修改 /etc/nginx/nginx.conf 文件，在其中的...

问题说明很久以前的一个可以编译运行的Android，今天重新打开后发现编译时报错Failed to resolve: firebase-iid-interopOpen FileFailed to resolve: play-services-basementOpen File解决办法修改 build.gradle 文件，将其中 jcenter() 和 google() 两个仓库...

假定原用户和用户组id如下：用户 admin 500组 admin 500要修改成用户和组id如下：用户 admin 1000组 admin 1000修改用户IDusermod -u 1000 admin修改组IDgroupmod -g 1000 admin修改文件权限find / -user 500 -exec chown -h admin {} \;fi...

下载首先从下面的链接地址下载对应平台和版本的安装包。https://www.enterprisedb.com/download-postgresql-binaries安装# 以普通用户运行下面命令# 解压压缩包到/opt目录下，如果对/opt目录没有写权限，先增加写权限再运行下面命令。$ tar zxvf postgresql-9.6.10-1-linux-x64-binarie...

问题描述这两天在编译 kettle 8.2.0.0 的时候突然开始报错[ERROR] Failed to execute goal on project kettle-dbdialog: Could not resolve dependencies for project pentaho-kettle:kettle-dbdialog:jar:8.2.0.0-311: Could not fin...

接前一篇文章，这里只说怎样连接Hive。配置 Hive Connectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://&lt;hive_metastore_ip&gt;:9083hive.config.resources=/opt/presto-server-0.2...

准备准备两台机器，机器名为 bd1 和 bd2，，并且在这两个节点上安装 hadoop，hive，并且准备一个mysql数据库。bd1 - coordinator节点bd2 - worker节点安装 presto serverwget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.211/p...

今天看到有人把Java的jar包制作成一个可执行文件，于是乎我也试了一把，确实也挺简单的，记录一下。首先创建一个java类，比如放的my这个package下，java代码如下：package my;public class Greeting { public static void main(String[] args) { System.out.println("...

获取 mongo 镜像sudo docker pull mongo运行 mongodb 服务sudo docker run -p 27017:27017 -v /tmp/db:/data/db -d mongo运行 mongodb 客户端sudo docker run -it mongo mongo --host &lt;宿主机IP地址&gt; --port 27017&gt; s...

设置Hadoop环境在Tools -&gt; Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。复制 hbase-site.xml 文件从hbase集群中复制 hbase-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data-plugin/hadoop-configurations/hdp25”...

设置Hadoop环境在Tools -&gt; Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。复制core-site.xml文件复制 Hadoop 环境下的的 core-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data-plugin/hadoop-configurations/hdp25”...

首先停止Hive服务从Ambari管理界面上停止Hive服务修改Hive配置在Hive -&gt; Configs -&gt; Advanced中，将数据库改为使用已存在的postgresql数据库，然后修改数据库用户，密码和数据库名称。创建用户和数据库使用postgres用户连接postgresql数据库&gt; psql -U postgrespostgres=# CREATE ...