小猪打呼噜

原创 随机森林 2（决策树）

通过的介绍，相信大家对随进森林都有了一个初步的认知，知道了随机和森林分别指的是什么，以及决策树根据什么选择内部节点。本文将会从森林深入到树，去看一下决策树是如何构建的。网上很多文章都讲了决策树如何构建，但在我看来不够生动形象，不够深入，希望此文能够让你彻彻底底了解决策树以及公式的含义。

原创 Softmax从小白到深度理解

大家在学习深度学习时，肯定会遇到softmax这个知识点，初学者大都一知半解，没有理解透彻，很多文章直接讲述softmax公式及求导，忽略了其中的原因。初学者通过此文可以梳理知识结构，高手可直接查看公式推导来巩固知识用来面试手推。 softmax公式及理解 在深度学习反向传播算法中，为什么softmax求导如此重要 softmax求导公式推导 ...

转载 最大似然估计(Maximum likelihood estimation)(通过例子理解)

之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT原博主写的太好了，这里 我就全盘奉上~似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，...

原创 主成分分析（Principal Component Analysis，PCA）详解

PCA是非常重要的统计方法，其实际应用非常广泛，但是很多讲解太过于公式化，很难让初学者消化，本文将从一个实际例子出发，并对数学公式原理及推导过程作出详细解释，即使你的数学基础比较差，在看完这篇博客之后，相信你会对PCA会有一个透彻的认知。

转载 git 使用详解

原创 遍历路径，统计每个文件大小

功能：统计（参数）路径下每个文件大小，记录属主，并且不统计超链接的文件和文件夹。

原创 NCBI 数据下载

网上介绍的那几种直接下载NCBI数据的方法大都下载速度很慢，但是EBI (European Bioinformatics Institute) 下载很快，而且它的数据库和NCBI是共享的，所以我们可以直接从 EBI 下载。1 、 确定要下载的 SRA 编号；

原创 ssh 免密登录

2. root @用户名: ~$ cat id_rsa.pub >>/root/.ssh/authorized_keys。若需免密登录到B的root用户，需将公钥追加到/root/.ssh/authorized_keys文件中；普通用户公钥在/home/.ssh下，root用户公钥在/root/.ssh下。

原创 隐马尔科夫模型1（了解整体知识架构）

本篇文章主要有两个目的：1 、让大家了解什么是隐马尔科夫模型。为了让大家深入理解，会先介绍什么是马尔科夫模型，然后介绍什么是隐马尔可夫模型，然后总结两者的联系和区别。2 、带大家认识马尔可夫模型的三种应用场景。大家可以理解为能解决哪三种问题，以及三种场景下使用的什么算法，以及不涉及公式推导的情况下每种算法的简单讲解。

原创 随机森林 3（代码）

第一份代码是比较原始的代码，第二份代码是第一段代码中引用的primitive_plot，第三份代码是使用 sklearn 包实现的代码，第四份代码是 sklearn 使用第一份代码数据集的实现代码。通过随机森林 1 和随机森林 2 的介绍，相信大家对理论已经了解的很透彻，接下来带大家敲一下代码，不懂得可以加我入群讨论。想加微信算法交流群的朋友可以先扫码加我微信，我拉你进群。

原创 随机森林1（了解整体知识架构）

随机森林，顾名思义，用随机的的方式构建森林，森林是由树组成的，而随机森林的树就是决策树。为什么认为多个决策树结果比一个决策树结果好呢？大家可以理解为三个臭皮匠顶上一个诸葛亮。这里还要说其他只讲公式博客中忽略的地方，有四点增加大家对随机森林的理解：1、从样本中选出一份数据集只能画一棵树；2 、要花多棵树就要选多次数据集，随机森林中的随机指的就是这里；3 、最终结果由所有决策树投票决定，没涉及到权重；4 、建树的数量是由多中因素决定的，比如数据集大小、计算资源等，一般来说在几十到 一千之间；

原创 linux生成固定大小的文件

linux生成固定大小的文件

原创 Centos7定时任务-crontab

其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天。当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行，f2 为 a-b 时表示从第 a 到第 b 小时都要执行，其馀类推。当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次，f2 为 */n 表示每 n 小时个时间间隔执行一次，其馀类推。当 f1 为 * 时表示每分钟都要执行 program，f2 为 * 时表示每小时都要执行程序，其馀类推。

转载 Idea打maven jar 抛出异常：A JNI error has occurred

补充信息：当Java -version 和 Javac -version 版本不一致时，执行也可能会抛出异常，此时需要将版本进行统一。依赖jar包中的META-INF中有多余的.SF文件与当前jar包冲突, 需要删除依赖jar包中的.SF文件。当项目依赖其他jar包的时候，打出的jar包执行出错，抛出这个异常。打完的jar包执行如下命令删除多余的.SF文件。

转载 linux之top命令

top命令是linux系统常用命令之一，能够实时显示系统各个进程的资源占用情况。

原创 shell写一个占用CPU的脚本

shell写一个占用CPU的脚本

原创 slurm设置根据投递参数设置线程和内存上限

slurm设置根据投递参数设置线程和内存上限

原创 slurm投递任务内存如何根据线程自动变化

使用场景：投递任务时不设置内存，内存根据线程数自动设置，比如线程参数设置为2，内存默认为4G，线程数设置为4，内存默认为8G。

转载 Slurm限制普通用户登陆计算节点（超算管理员必看）

slurm限制普通用户登陆计算节点

原创 linux修改同时打开文件数量

需要修改/etc/security/limits.conf中的soft和hard limit，系统默认上限为1048576。如果你需要更高的上限怎么办呢？这个上限是在/proc/sys/fs/nr_open中设定的，所以直接修改即可。但直接改会报错Fsync failed，可以使用命令echo 2000000 >/proc/sys/fs/nr_open 修改。

原创 centos系统时间修改

很多朋友在安装完CentOS系统后发现时间与现在时间相差8小时，这是由于CentOS默认bios时间是utc时间，所以时间相差了8小时。

原创 最清晰的conda安装与切换源教程（centos7.6）

最清晰的conda安装与切换源教程（centos7.6）

原创 aws新建机器无法登录（尤其是新建的vpc）

出现这种情况大概率是没有把互联网网关添加到路由表的路由中。互联网网关虽然新建时关联了VPC，但使用的话还是需要关联到路由表中的路由选项。

原创 阿里云ehpc在web上新建用户后如何修改group

阿里云ehpc在web上新建用户后如何修改group

原创 AWS tInspectContainerError: Could not transition to inspecting； timed out after waiting 30s

AWS nextflow+batch 报错：CannotInspectContainerError: Could not transition to inspecting;原因：计算环境中的子网只能指定一个，如果指定多个就会出现网络互通问题。

原创 AWS batch 状态卡在 RUNABLE 原因总结

AWS batch 状态卡在 RUNABLE 原因总结：1、从s3下载的脚本，但是没有可执行权限；2、任务提交时填写的内存超过计算环境中实例类型（机器）的内存；

原创 AWS机器如何切换到root

新建aws机器，登陆后如何切换到root

原创 Can‘t locate Bio/SeqIO.pm in @INC

Can't locate Bio/SeqIO.pm in @INC

原创 docker build : returned a non-zero code: 137

docker build : returned a non-zero code: 137

原创 glibc==2.17 报错

glibc==2.17 报错

原创 java程序内存或cpu占用过高解决办法

命令：基于Linux系统的Tomcat内存泄露分析、CPU内存过高排查 - 偷懒的fc - 博客园排查tomcat服务器CPU使用率过高 - 北漂程序员 - 博客园MAT软件排查：Mat使用详解 - 陈咬金 - 博客园Java程序内存分析：使用mat工具分析内存占用_dingxie1963的博客-CSDN博客...

转载 linux top命令看到的实存(RES)与虚存(VIRT)分析

近期在公司中解决程序使用的内存高问题，将一部分之前无法回收的内存进行了回收，实现降内存效果(降实存)。在统计效果时, QA问是统计RES(实存)还是VIRT(虚存)。在网上学习看了一些博客，这里自己总结一下RES和VIRT的区别。1. 概念VIRT： 1 2 3 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据，以及malloc、new分配的堆空间和分配的栈空间等； 2、假如进程新申请10MB的内存，但实际只使用了1MB，那

原创 perl Config::Tiny用法

Config::Tiny是个好东西，功能是这样实现的，从一个规范的配置文件中取出相应的值。文件名config[sention]IPADDRESS=127.0.0.1USER=gamePASS=3451133BACK_DESC=/dev/shm代码如下：#!/usr/bin/perluseConfig::Tiny;useMath::BigInt;my$Config=Config::Tiny->new();$Config=Config::Tiny->re...

转载 samtools flagstat 统计结果的理解

14608455 + 0 in total (QC-passed reads + QC-failed reads) ## reads总数37967 + 0 secondary ##出现比对到参考基因组多个位置的reads数0 + 0 supplementary ##可能存在嵌合的reads0 + 0 duplicates ##重复的reads数14590894.

转载 二代测序的比对算法

现在主流的比对软件不下十种，但按照核心算法区分，其实可以拆分成为两大阵营：1.基于哈希表（hash-table）数据结构的比对算法2.Burrows Wheeler transform（BWT）索引数据结构的比对算法首先，我们来了解一下第一类比对算法hash-table的核心思想就是采用种子序列定位及延伸算法（seed-and-extend algorithm）根据索引构建对象的不同，可以分为两类，第一种，基于参考基因组（reference genome）索引的的延伸比对通过

转载 阿里云云监控插件安装

注意事项插件下载是通过http proxy完成的，默认代理节点在杭州，如果下载时网络不通可根据机器所在地域手工调整下载地址。Linux可以调整wget的-e参数，windows可以修改浏览器http proxy的配置。下面是所有可以使用的http proxy，端口是3128或8080，可以使用telnet hzcmsproxy.aliyun.com 3128来测试代理的可用性。 hzcmsproxy.aliyun.com #杭州 bjcmsproxy.aliyun.com #北京

原创 1分钟解决git clone 速度慢的问题

办法使用国内镜像，目前已知Github国内镜像网站有github.com.cnpmjs.org和git.sdut.me/。速度根据各地情况而定，在clone某个项目的时候将github.com替换为github.com.cnpmjs.org即可。//这是我们要clone的git clone https://github.com/Hackergeek/architecture-samples //使用镜像git clone https://github.com.cnpmjs.org/Hack

转载 @Scheduled中fixedDelay、fixedRate、initialDelay 和cron表达式的解析及区别

一、 在线Cron表达式生成器http://cron.qqe2.com/二、介绍cronExpression定义时间规则，Cron表达式由6或7个空格分隔的时间字段组成：秒 分钟 小时 日期 月份 星期 年（可选）；字段　　允许值　　允许的特殊字符秒 　0-59 　　　　, - * /分 　0-59　　　　, - * /小时 0-23 　　　　, - * /日期 1-31 　　　　, - * ? / L W C月份 1-12 　　　　, - * /星期 1-7 　　　　, -...

原创 安装opencv-python遇到报错： Problem with the CMake installation, aborting build. CMake executable is cmake

如果已经安装cmake：pip3 install pip -U如果未安装cmake：pip3 install pip -Upip3 install cmake

原创 ModuleNotFoundError: No module named ‘_bz2‘

第一步：安装gzip2-develsudo yum install bzip2-devel第二步：重新编译python./configuremake && make install