光尘的博客

转载 Linux命令：qsub

原创 指定python版本及module加载

linux服务器预装的软件在/usr/bin中公司的服务器上预装的python是2.6.6版本的，后来在/opt/python路径中装了python2.7.13，如何在每次执行python脚本时默认是调用python2.7呢？一个办法是在脚本的开头加上一行：#!/opt/python/bin/python2.7但如果想要在交互命令行界面调用python2.7执行命令，就不能直...

原创 shell基础

引号功能   能否引用变量 能否引用转义符 能否引用文本格式符（如换行符、制表符） 单引号 否 否 否 双引号 能 能 能 无引号...

原创 NGS基础知识

高通量测序高通量测序技术（High-throughput sequencing，HTS）是对传统Sanger测序（称为一代测序技术）革命性的改变，一次对几十万到几百万条核酸分子进行序列测定, 因此在有些文献中称其为下一代测序技术(next generation sequencing，NGS )足见其划时代的改变,同时高通量测序使得对一个物种的转录组和基因组进行细致全貌的分析成为可能,所以又被称...

原创 NGS分析流程

NGS实验步骤核酸提取与检测、文库构建与文库检测、上机测序生信分析步骤1. 质量分析fastqc、multiqc、SolexaQA测序数据的质量好坏会影响我们的下游分析。但不同的测序平台其测序错误率的图谱都是有差别的。因此，非常建议在我们分析测序数据之前先搞清楚如下两个地方： 原始数据是通过哪种测序平台产生的，它们的错误率分布是怎么样的，是否有一定的偏向性和局限性，是...

原创 Linux基础知识

释放内存使用sync命令做同步，以确保文件系统的完整性，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。syncecho 3 > /proc/sys/vm/drop_caches释放缓存数字参数说明0 – 不释放1 – 释放页缓存2 – 释放dentries和inodes...

转载 爬虫突破封禁的6种常见方法

内容整理自《Python 网络数据采集》第 10、12、14 章 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。本文假定读者已经了解如何用代...

原创 文件读写 编码 Json

循环解压import osimport zipfileclass Unzip(object): @staticmethod def scan(source_dir): for sub_file in sorted(os.listdir(source_dir)): sub_file_path = os.path.join(sour...

转载 python 字符串操作

判断字符函数 含义 字符串.isalnum() 所有字符都是数字或者字母，为真返回 Ture，否则返回 False 字符串.isalpha() 所有字符都是字母，为真返回 Ture，否则返回 False 字符串.isdigit() 所有字符都是数字，为真返回 Ture，否则返回 False 字符串.islower() 所有字符都是小写，为真返回 T...

原创 Linux打包、压缩命令

压缩程式 压缩格式 tar .tar gzip / gunzip .gz / .tar.gz / .tgz bzip2 / bunzip2 .bs2 / .tar.bz2 compress / uncompress .Z / .tar.Z zip / unzip .zip rar / unrar .rar ...

原创 Notepad++ 常用设置及快捷键

详细介绍https://www.crifan.com/files/doc/docbook/rec_soft_npp/release/html/rec_soft_npp.html#fg.npp_def_plugins背景色设置成豆沙色，点击“设置 > 语言格式设置 > 背景色”红：204绿：232蓝：207勾选“使用全局背景色”快捷键ctrl+Q添...

原创 python之office_excel相关操作

xlrd读取文件，但不能对其进行操作xlrd.open_workbook()方法返回xlrd.Book类型，是只读的，不能对其进行操作xlwt生成Excel文件（可以控制Excel中单元格的格式），但不能在已有的excel文件基础上进行修改xlwt.Workbook()返回的xlwt.Workbook类型的save(filepath)方法可以保存excel文件。xlutils模块可...

原创 正则

正则表达式是由普通字符（例如字符 a 到 z）以及特殊字符（称为"元字符"）组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。? 通配符匹配文件名中的 0 个或 1 个字符，要匹配 ? 字符，使用 \? * 通配符匹配0个或多个字符，要匹配 * 字符，使用 \*+ 匹配一个或者多个，要匹配 + 字符，使用 \+...

原创 linux个人账号不使用sudo安装python模块

源码安装pythonwget https://www.python.org/ftp/python/2.7.5/Python-2.7.5.tgztar -zxf Python-2.7.5.tgzcd Python-2.7.5./configure --prefix="/home/li.han/software/python27"make & make installln -s...

转载 urllib与requests的对比

在HTTP相关处理中使用python是不必要的麻烦，这包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2，Kenneth Reitz的Requests模块更能简约的支持完整的简单用例。简单的例子： 想象下我们试图使用get方法从http://example.test/获取资源并且查看返回代码，content-type头信息，还有response的主体内容。这件事无...

原创 BeautifulSoup解析

官方文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/一、解析器 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, "html.parser") Pytho...

原创 python爬虫基础知识

什么是爬虫？爬虫：就是抓取网页数据的程序。HTTP和HTTPSHTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。SSL（Secure ...

转载 git 更新代码到本地

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/longlc123/article/details/78652569 正规流程git status（查看本地分支文件...

转载 git获取历史版本

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/liangfeng093/article/details/79199548 ...

原创 httplib模块

httplib是一个相对底层的http请求模块，其上有专门的包装模块，如urllib内建模块，goto等第三方模块，但是封装的越高就越不灵活，比如urllib模块里请求错误时就不会返回结果页的内容，只有头信息，对于某些需要检测错误请求返回值的场景就不适用，所以就得用这个模块了。目录1. httplib.HTTPConnection2. HTTPConnection对象request方法...

原创 urlparse 模块

urlparse模块主要是用于解析url中的参数  对url按照一定格式进行 拆分或拼接 1. urlparse.urlparse将url分为6个部分，返回一个包含6个字符串项目的元组：scheme协议、netloc域名服务器、path相对路径、params参数、query查询、fragment片段。2. urlparse.parse_qs获取urlparse分割后元祖中的某一...

转载 urllib和urllib2实例

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，先学习urllib2。urllib2模块直接导入就可以用，在python3中urllib2被改为urllib.request开始爬虫需要准备的一些工具（1）下载Fiddeler抓包工具，百度直接下载安装就可以（抓包）（2）下载chrome浏览器代理插件 Prox...

转载 python之_requests库学习_5（超时与异常）

一、超时 可以告诉 requests 在经过以 timeout 参数设定的秒数时间之后停止等待响应。 连接超时指的是在你的客户端实现到远端机器端口的连接时Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值，因为 TCP 数据包重传...

转载 python之_requests库学习_4（session会话）

前面几篇学习了requests库的一些基础知识，接下来学习它更高级的用法 一、会话对象session 1、session对象能够帮我们跨请求保持某些参数，也会在同一个session实例发出的所有请求之间保持cookies。import requestss=req...

转载 python之_requests库学习_3（请求响应信息获取）

一、响应内容信息获取 1、响应状态码import requestsr = requests.get('https://api.github.com/some/endpoint')print(r.status_code) #响应状态码print(r.status...

转载 python之_requests库学习_1（基础知识）

在自动化测试框架的学习中，除了以selenium+python你的UI自动化框架的编写，还有接口自动化框架的编写，其中requests库则是一个非常需要的python库，且requests库非常强大，目前的爬虫如果用python语言编写也需要用到requests库，下面先来学...

转载 python之_requests库学习_2（post请求参数传递）

一、定制请求头 定义headers,类型为dictimport requestsurl = 'https://api.douban.com/v2/book/search?q=小王子'headers={'user-agent': 'Mozilla/5.0'}r ...