- 博客(719)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux使用cgroup限制程序资源
以前一直在使用Docker来封装并限制容器资源，从而实现限制进程资源的目的。但Linux Docker底层是基于cgroup来实现的，于是乎今天就想起来试试直接使用cgroup来限制进程资源。下面就以要限制一个程序的内存为例，来看看怎么实现限制资源。对于其它的资源限制都可以使用类似方法。为了测试程序对内存的占用，先准备个python程序来消耗内存，代码如下：#!/usr/bin/python...
2019-08-03 13:35:25
1769
1
原创 Singularity入门之运行图形应用
要在 Singularity 中运行图形程序需要重新制作一个镜像，使其包含执行图形应用程序需要的环境和程序，这里还是通过 sandbox 的方式来制作一个可以运行图形程序镜像。首先以 root 身份运行命令创建一个 centos 的 sandbox。$ sudo singularity -d build --sandbox centos/ docker://centos如果已经下载过 ce...
2019-08-01 20:30:44
1154
原创 Singularity入门之通过文件创建镜像
Singularity中也提供了类似Docker中通过Dockerfile来创建镜像的功能，我们可以把创建镜像的内容写到Singularity文件中，然后使用Singularity这个文件来构建镜像。创建Singularity文件创建一个Singularity文件，内容如下：Bootstrap: dockerFrom: ubuntu%post apt-get -y update...
2019-07-31 21:36:52
2156
原创 Singularity入门之通过沙盒创建镜像
准备镜像目录通过 “–sandbox” 选项指定一个目录来作为镜像运行目录。$ sudo singularity -d build --sandbox ubuntu/ docker://ubuntu运行并修改容器在此镜像目录之上运行容器，这里需要使用 “–writable” 选项来使其可写。$ sudo singularity shell --writable ubuntu/# 在...
2019-07-31 21:35:51
2876
原创 Singularity入门之运行容器
下载已存在镜像和Docker类似，要运行 Singularity 也需要先获取镜像，Singularity 可以从Singularity Hub 或者 Docker Hub 来获取已存在的镜像。Singularity Hubsingularity -d build lolcow.simg shub://GodloveD/lolcowDocker Hubsingularity -d bu...
2019-07-31 21:34:09
12275
2
原创 Singularity入门之安装
下载$ VERSION=2.5.2$ wget https://github.com/singularityware/singularity/releases/download/$VERSION/singularity-$VERSION.tar.gz编译rpm包Singularity 提供了几种安装方式，这里选择使用编译 rpm 包的方式来安装。$ tar xvf singularit...
2019-07-31 21:32:46
4760
原创 Xpra使用入门（三）
Xpra 除了可以向前两篇博客中写的那样使用意外，还提供了使用 HTML5 客户端连接的方式来使用。首先启动 xpra 服务，这里需要使用 “–html=on” 开关来允许 xpra 服务接受 html5 的客户端连接。xpra start --bind-tcp=0.0.0.0:12345 --html=on --start=xterm然后通过浏览器访问 http://:12345 来连接...
2019-06-13 09:05:52
1247
原创 Xpra使用入门（二）
前一篇博客说了怎样安装和使用Xpra，其中xpra是通过类似ssh -X方式来工作的，并且是在一个命令中实现的。其实 xpra 也可以分部使用，首先启动 xpra 在指定的 DISPLAY 上，比如启动 xpra 在 DISPLAY=:9 上xpra start :9 --start=xterm然后使用 attach 的方式连到 xpra 服务上# attach到本地的xpra（如果本地...
2019-06-13 09:04:50
1730
原创 Xpra使用入门
Xpra 是一个开源的跨平台远程显示服务器和客户端工具，可以用来转发图形应用和桌面。这里以 CentOS7 系统为例，演示一下怎样使用 Xpra 转发图形应用和桌面。安装# cd /etc/yum.repos.d/# wget -c https://xpra.org/repos/CentOS/xpra.repo# yum install xpra其它版本的 Xpra 可以参考 http...
2019-06-12 13:10:26
2940
原创 Xephyr以一个 X 应用的方式运行一个嵌套的 X 服务
前段时间无意间看到Xephyr，一个以 X 应用的方式运行一个嵌套的 X 服务器，看介绍说明比较绕，我也就不饶了，看个例子它能干啥吧。这里假设我们想在linux机器上的一个嵌套的 X 服务中启动一个应用程序或者图形桌面。安装Xephyr我们先在host1上安装 Xephyrsudo yum install xorg-x11-server-Xephyr启动Xephyr在host1上启动...
2019-06-10 17:56:45
1444
原创 基于Struts2的war包在WebLogic上部署找不到Action问题及解决办法
问题描述Struts2的工程，使用了Convention Plugin，在eclipse里测试的时候可以运行，但是部署到WebLogi中时报错找不到Action。解决办法先看看工程的 src/main/resources/META-INF 目录下有没有文件，如果目录不存在或者其下没有文件，随便创建一个test.xml文件。修改 src/main/resources/struts.x...
2019-05-29 22:27:32
656
1
原创 Ubuntu修改默认sh为bash
现在的Ubuntu版本默认sh都是使用的dash，用起来实在是别扭，所以找了一下，发现可以通过设置，修改为原来的bash。首先查看系统的/bin/sh$ ls -al /bin/sh/bin/sh -> dash切换sh为bash$ sudo dpkg-reconfigure dash查看切换后的结果$ ls -al /bin/sh/bin/sh -> bash...
2019-05-28 09:17:11
14168
原创 WebSphere8.5.5.2修改默认Java版本为JDK7
在WebSphere8.5.5.2中默认使用的是JDK6，如果想升级成JDK7，可以使用下面方法。查看一下WebSphere已有的JDK版本# cd /opt/IBM/WebSphere/AppServer/profiles/AppSrv01# bin/managesdk.sh -listAvailableCWSDK1003I: Available SDKs :CWSDK1005I: S...
2019-05-28 09:15:41
4301
原创 Mac挂载NTFS移动硬盘进行读写操作
在Mac上，默认情况对NTFS磁盘的挂载方式是只读(read-only)的，其实Mac原生是支持NTFS的，但是后来由于微软的限制，苹果把这个功能给屏蔽了，但是我们可以通过命令行方式打开这个选项。接入移动硬盘后，我们首先查看一下挂载信息$ sudo mount...$ /dev/disk2s1 on /Volumes/新加卷 (ntfs, local, nodev, nosuid, re...
2019-05-14 20:55:44
12429
1
原创 从零开始构建Flink开发项目-Scala版
今天要做一个Flink的测试，因此需要创建一个简单的Flink项目，于是找到了下面这种方式来创建一个Flink启动项目。通过运行下面的命令来创建一个项目curl https://flink.apache.org/q/quickstart-scala.sh | bash也可以根据 quickstart-scala.sh 文件中的内容，使用maven命令来生成自己的项目，比如：mvn arc...
2019-05-13 08:41:05
2615
原创 安装Nvidia驱动时提示需要disable the Nouveau kernel driver
今天在安装Nvidia驱动（NVIDIA-Linux-x86_64-418.56.run）的时候，提示需要“disable the Nouveau kernel driver”。解决办法如下：修改 /etc/modprobe.d/blacklist.conf 文件blacklist nouveau备份 initramfs$ sudo mv /boot/initramfs-$(u...
2019-05-08 12:13:47
2509
原创 CentOS7修改系统启动模式
在CentOS Linux上我们通常都是修改 /etc/inittab 文件，在其中加入 “id::initdefault:” 来设置系统启动模式，但是在 CentOS7 上发现这个文件似乎是没用了，修改后重启机器并不会启动机器到设置的模式。于是乎，仔细看了一下 /etc/inittab 文件中的注释，发现现在是使用 “systemctl get-default” 和 “systemctl se...
2019-05-08 12:10:51
3059
原创 CentOS7系统上使用RapidSVN
由于公司使用的代码管理工具还是 subversion，每次都命令行使用实在有点不方便，于是乎想到了找一个 Linux 平台的可视化 subversion 工具，因为自己的工作环境的机器基本都是 CentOS7.X，找了几个安装都有问题，最后想到是不是可以用 docker 来实现，这样弄想起来都挺美气的。Dockerfilefrom ubuntuRUN apt-get updateRUN ...
2019-04-17 13:06:13
1221
原创 Superset安装出错 sqlalchemy.exc.InvalidRequestError: Can't determine which FROM clause to join from, the
问题描述今天试着在python3.7.2上安装最新的superset（0.28.1），在初始化数据库的时候报如下错误：$ superset db upgrade...Traceback (most recent call last): File "/home/jhadmin/.pyenv/versions/myenv-3.7.2/bin/superset", line 15, in &...
2019-04-03 22:50:15
3535
4
原创 Superset安装出错 cannot import name _maybe_box_datetimelike from pandas.core.common
问题描述今天试着在python3.7.2上安装最新的superset（0.28.1），在创建管理员用户的时候报如下错误：$ fabmanager create-admin --app superset...Was unable to import superset Error: cannot import name '_maybe_box_datetimelike' from 'panda...
2019-04-03 22:45:45
2924
原创 设置Docker允许非root用户操作
以前写过一篇博客介绍过怎样允许非root用户来访问Docker，当时的方法是将用户加入的docker组里，这样做安全是安全了，但是实在是太麻烦了，对于我这种安全要求不太高的情况，实在是不合适。于是想能不能有啥办法一劳永逸的解决这个问题。你还别说，还真有办法，你们说神奇不。呵呵，就是这么神奇。解决办法就是修改 /var/run/docker.sock 文件的权限，让普通用户也可以访问。先查看一下...
2019-03-20 23:29:03
4135
1
原创 高通量测序数据质控神器Trimmomatic
简介高通量测序下机的原始数据中存在一些低质量数据、接头以及barcode序列等，为消除其对后续分析准确性产生的影响，在数据下机以后对原始数据进行质控处理就成了至关重要的环节。Trimmomatic就是一个高通量测序数据质控神器，可以对测序数据进行过滤。Trimmomatic 支持多线程，处理数据速度快，主要用来去除 Illumina 平台的 Fastq 序列中的接头，并根据碱基质量值对 Fas...
2019-03-19 08:24:46
6241
原创 使用SPAdes测序数据拼接软件拼装基因组
简介SPAdes 是由俄罗斯科学院 St. Petersburg Academic University 与美国科学家合作开发的主要应用于小型基因组如细菌，真菌等基因组测序数据的拼接软件。目前的最新版本 v3.6.2 可以支持常见的 illumina miseq/hiseq 和 ion torrent 测序数据，对单分子测序平台的 pacbio 和 nanopore 的测序数据也能进行拼装，还能...
2019-03-19 08:22:56
13002
原创 三代测序组装工具Canu学习笔记
Canu简介Canu是Celera的继任者，能用于组装PacBio和Nanopore两家公司得到的测序结果。Canu分为三个步骤：纠错，修整和组装。下载测试数据# 下载 pacbio 测试数据wget -c http://gembox.cbcb.umd.edu/mhap/raw/ecoli_p6_25x.filtered.fastq -O pacbio.fastq# 下载 nanop...
2019-03-18 08:52:18
8441
原创 Docker Error response from daemon: devmapper: Thin Pool has 155398 free data blocks which is less th
问题说明今天公司的build机器上使用 docker run 命令来启动容器的时候，突然出现下面的错/usr/bin/docker-current: Error response from daemon: devmapper: Thin Pool has 155398 free data blocks which is less than minimum required 163840 fre...
2019-03-11 23:11:33
3599
原创 netbeans修改菜单字体大小
由于远程使用vnc分辨率的问题，修改了我的linux桌面字体，对于netbeans中的编辑字体可以通过netbeans的参数设置修改，但是对于菜单却没找到地方修改，导致菜单字体就一丢丢大，看不清呀看不清。后来发现可以通过修改netbeans的启动参数来实现。编辑netbeans安装目录下的 etc/netbeans.conf 文件，在 netbeans_default_options 参数最后添...
2019-03-11 23:10:16
1148
原创 python使用phoenixdb操作hbase
python使用phoenixdb操作hbase接前一篇：使用phoenix查询hbase今天看看怎样在 python 中使用 phoenixdb 来操作 hbase安装 phoenixdb 库pip install phoenixdb例子首先启动 queryserver 服务cd apache-phoenix-4.14.1-HBase-1.4-bin/bin./queryser...
2019-02-27 23:03:09
3406
原创 使用phoenix查询hbase
今天需要从的 hbase 使用 sql 来查询数据，于是想到了使用 phoenix 工具，在自己的环境里大概试了一下，一下子就通了，就这么神奇。下载安装首先从 apache 下载 phoenix 包，这里因为我的hbase hbase-1.4.9 版，所以我下载的对应的版本 apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz下载后解压之 apache-pho...
2019-02-27 22:59:55
4759
原创 SSH端口转发
SSH端口转发今天碰到一个需求，在用户环境中，如果要访问机房里某个机器上，必须通过一个机器中转才可以，如果仅仅是SSH登录一下，我也就忍了，毕竟跳跳更健康嘛。但是今天要访问里面机器上的Web服务，我可以纠结了一会，后来想到了可以使用SSH的端口转发来实现。下面就看看怎么实现吧。这里假定两台机器，host1 和 host2，其中 host1 是我的桌面机器能访问的，host2 是我的桌面机器不能...
2019-02-26 21:36:50
705
1
原创 环境自动加载工具direnv
最近在多个项目之间来回切换，其中不同项目需要使用同一个库的不同版本，来回切换太麻烦，于是乎，想到了曾经有同事给我建议的环境自动加载工具direnv，可以使我在命令行中根据进入的目录不同，自动加载不同的环境配置。下面就看看怎么使用吧。下载安装可以从 https://github.com/direnv/direnv 下载自己操作系统的包。$ wget -c https://github.com/...
2019-02-14 08:05:08
950
原创 一个简单的通过浏览器共享命令行的工具ttyd
今天调研的时候看到了ttyd工具，一个可以简单的通过浏览器共享命令行工具，只需要在命令行运行一个命令，就可以通过浏览器来直接访问终端了。下面就看看怎么使用吧。下载安装# 在Linux上直接下载的二进制文件，下载后改名为ttyd$ wget -c -O ttyd https://github.com/tsl0922/ttyd/releases/download/1.4.2/ttyd_linux...
2019-01-28 08:33:12
2536
原创 使用PyInstaller打包webssh
接前一篇博客，为了使webssh更容易安装部署，我在想是不是可以把webssh打包成一个独立的可执行文件，这样使用起来不是更方便呢。于是乎我想到了是不是可以使用PyInstaller来打包。准备测试环境这一步主要是准备一个干净的virtualenv环境，并安装pyinstaller和webssh。$ cd ~$ virtualenv myenv$ cd myenv$ . bin/act...
2019-01-25 21:23:29
497
原创 一个好用的Python和JS实现的Web SSH工具webssh
今天找到了一个使用python和js做的基于Web的SSH工具 webssh，大概试了一下，安装使用都比较方便，分享一下。这个工具是使用Python开发，可以从下面地址了解详情。https://github.com/huashengdun/websshhttps://pypi.org/project/webssh/安装pip install webssh运行服务# 直接运行ws...
2019-01-24 11:22:00
8945
1
原创 使用Web Console提供一个简单的远程命令行服务
今天调研基于Web的SSH的应用程序的时候无意间看到了一个Web Console的工具，虽然没有满足我的最终需求，但还是试了一下，可以当作一个受限的基于Web远程执行命令工具使用。下载并解压首先从 http://web-console.org/ 下载安装包，就是一个zip包 webconsole-0.9.7.zip，下载后解压。wget -c https://github.com/nicko...
2019-01-24 11:21:15
6464
原创 查看Docker镜像仓库中镜像的所有标签
用 Docker 的人都知道，我们在查询远端镜像仓库中镜像的时候，在命令行只能看到镜像名，说明等信息，而看不到标签。因此，如果我想要查看镜像有哪些标签，就只能通过网页的方式查看，比如通过 https://hub.docker.com/ 查看，这样实在是太麻烦，于是乎，我想是不是可以写个小工具来干这个事呢？答案当然是肯定的。下面就看看怎样实现的吧。写了个脚本 list_img_tags.sh，内容...
2019-01-19 23:36:28
35787
6
原创 使用Sqoop从Postgresql中导入数据到HBase中
接前面的文章 “使用Sqoop从Postgresql中导入数据到Hive中”，今天看看怎样从 Postgresql 入数据到 HBase 中。这里有一点需要注意的是 Sqoop 1.4.7 目前不支持 HBase 2.x，所以准备了一个 hbase 1.4.9 的环境来做测试。配置进入 sqoop 的 conf 目录，修改 sqoop-env.sh 文件，如下：#Set path to w...
2019-01-17 20:44:56
790
1
原创 安装使用Eclipse Che
前些日子下载 Eclipse 的时候无意间看到了 “Eclipse Che”，一个高性能的基于浏览器的集成开发环境，说直白点就是浏览器版的 Eclipse，当时没有细看，今天花了点时间试用一下。Eclipse Che 都是基于 Docker 构建的，所以需要有 Docker 环境，并且创建的工作区和项目也都是在容器中运行。在 Eclipse Che 默认提供了很多语言支持，包括：C++、Go、J...
2019-01-17 08:07:18
8180
原创 使用 Portainer 管理 Docker Swarm 集群
使用 Portainer 管理 Docker Swarm 集群关于怎样搭建使用Docker Swarm请参考 Docker使用Swarm组建集群安装$ sudo docker pull portainer/portainer使用创建 volume为了保存 portainer 的数据，这里创建了一个 volume，如下：$ sudo docker volume create po...
2019-01-11 21:13:36
2735
1
原创 使用Sqoop从Postgresql中导入数据到Hive中
这里假定已经准备好了现成的Hadoop，Hive，Hbase，Zookeeper和一个postgresql数据库。下载安装从 http://mirror.bit.edu.cn/apache/sqoop/ 地址下载 sqoop 安装包，这里我使用的是1.4.7版本。wget -c http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.b...
2019-01-10 21:34:58
4005
原创 通过 Serveo 将局域网服务开放到互联网上
发现一个好东西 Serveo，可以将局域网内的服务端口开放到互联网上，从而实现通过外网访问局域网。最主要这东西还不要安装，你说要命不。下面就看看怎么使用。这里先假定，我在局域网内启动了一个 web server，使用 8080 端口。开放本地服务在命令行使用下面命令来吧服务开放到互联网上。$ ssh -R 80:localhost:8080 serveo.netHi thereForw...
2019-01-09 20:49:07
3537
3
Full Stack GraphQL Applications With React, Node.js, and Neo4j
2024-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人