![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 79
Yeahmeng
这个作者很懒,什么都没留下…
展开
-
多线程爬取58同城二手车信息
多线程爬取58同城二手车信息目录多线程的介绍数据的爬取数据的解析多线程简介:线程是轻量级的进程,是程序执行流的最小单元,它不拥有系统的资源,运行占用独立的资源且资源小,且多个线程共享一个单元,同一进程中多个线程可以并发执行(线程轮流使用,因为cpu处理和切换比较快),比较适合计算量小但比较耗时的工作(如爬虫)。缺点:1.cpu分配给每个线程的时间非常短,以此来‘伪装’多线程,...原创 2020-05-07 11:44:25 · 938 阅读 · 0 评论 -
Python爬虫借助Genecards网站将基因全名转换为Gene Symbol——历时8小时!
历时8小时的爬虫:基因全名与基因名缩写的转换——Genecards在爬取了TCMSPW的中药材的靶向基因后,得到的靶向基因名称是全名,但是后续分析需要的是基因名称缩写(即Gene Symbol)。最初尝试用R语言的org.Hs.eg.db包来进行转换,然而结果不尽人意,能转换的基因寥寥无几,于是又将目光投向了Genecards。。基本思路是将基因全名进行检索,然后选取检索结果中第一个,这样的弊...原创 2020-04-09 19:06:00 · 5390 阅读 · 5 评论 -
Python requests+bs4爬取中药数据库TCMSP的资源获得清肺排毒汤的靶向基因(曲线救国)
Python requests+bs4 爬取TCMSP的资源获得清肺排毒汤的靶向基因-----曲线救国为研究清肺排毒汤的中药材对于新冠肺炎的作用机制,需要收集相关数据,于是将目光洒向了TCMSP。。检索首页是这样的:接下来用一味药材进行检索。中药材检索界面获取以清肺排毒汤中的麻黄为例,进行检索后它的界面是这样的,注意观察url:http://tcmspw.com/tcmspsearc...原创 2020-04-07 09:58:09 · 4935 阅读 · 29 评论 -
Python requests爬取美桌壁纸之可爱小狗狗
爬取美桌壁纸之可爱小狗狗最近在学爬虫,用课堂案例来巩固下学习内容。import requestsfrom lxml import etree # 用lxml库对网页进行解析import osurl = 'http://www.win4000.com/zt/gou.html'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT ...原创 2020-04-04 21:06:22 · 642 阅读 · 0 评论