py
文章平均质量分 71
Cccrush
这个作者很懒,什么都没留下…
展开
-
[记录] GWAS Catalog python爬虫
##pyhon代码格式根据tab缩进判断代码块嵌套,注意缩进格式##python爬虫有常用的包(BeautifulSoup)用来解析HTML格式,一般通过标签提取信息。这里我直接强制转为字典格式输出了。import jsonimport requests##打开输入文件(按行读取)f=open('~/snplist.txt')ls=[]for line in f: ls.append(line.replace('\n',''))f.close()##gwas catalog 为异.原创 2021-05-13 16:18:53 · 1384 阅读 · 0 评论 -
[笔记]python爬虫学习笔记(一)——网页的获取和打印
urllib包:处理URL包含模块:urllib.request:打开并读取URLsurllib.error:包含一些有urllib.request产生的错误,可以使用try进行捕捉urllib.parse:包含一些解析URLs的方法urllib.robotparser:解析robots.txt文本文件,它提供了一个单独的RobotFileParser类,通过该类提供的can_fetch()方法测...原创 2018-05-12 10:25:56 · 6240 阅读 · 0 评论 -
[笔记]python爬虫学习笔记(二)——向网页发送请求(json)
# -*- coding: UTF-8 -*-import ioimport sysfrom urllib import requestfrom urllib import parseimport jsonsys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码if __name...原创 2018-05-12 13:19:17 · 1918 阅读 · 3 评论 -
[笔记]python爬虫学习笔记(三)——设置User Agent和代理IP
运行平台:Windows Python版本:Python3.x IDE:Sublime text3参考学习博客:http://blog.csdn.net/c406495762/article/details/60137956有些网站会检测连接对象,以防止网络爬虫访问。设置User Agent可以起到隐藏访问身份的作用。 User Agent存放于Headers中,服务器就是通过查看Heade...原创 2018-05-12 14:14:47 · 1117 阅读 · 0 评论 -
[笔记]python对FASTA文件的处理
这学期选了生信的选修课—perl/python在生物信息学中的应用把结课作业的代码整理出来主要是python对FASTA文件的读取和数据处理FASTA文件数据处理FASTA文件读取:只含一个基因序列将FASTA文件的基因序列读取到一个列表中,列表中的每个元素为每一行基因序列构成的字符串f=open('/home/miaoyr/perl_practice/test1_file/DTNBP1.fast...原创 2018-04-27 19:17:06 · 28275 阅读 · 0 评论