原标题:利用python爬取并翻译GEO数据库
GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上。想要从这里面挖掘(bai piao)数据,发个sci提前毕业升职称?那么第一步就是筛选自己所需要的芯片集。
我采用的方法是利用python,爬取相关芯片集,翻译并整理成本地文件。(自带翻译心动吗?)
为什么要用python?因为人生苦短!对于我们这些非编程专业的人,python是极易上手的语言之一。其简洁的编程风格,深受小白们的喜欢。个人认为python的学习时间成本很低,只需要短短几周甚至几天,即可打造属于自己的定制爬虫。
那么,下面我们正式开始python爬取之旅!(python安装请自行百度)
第1步,在GEO进行初步检索。
我们检索“obesity”这个关键词,发现有1432个芯片集。我比较推荐数量在200到2000之间,这样既能保证数据足够,又避免审核过多芯片集会造成时间浪费。如果芯片集过多,可限定检索条件,如年份、组织、研究类型等。芯片集过少,可放宽检索条件或增加关联的关键词。
第2步,将每页显示调为500条芯片集,查看网页源代码并将所有代码保存到txt文件。
如果有多页,则需要一页一页点开,并将所有