执契的博客

小白,努力成为大白

python爬虫:如何爬网页数据并将其放在文本文件中

不废话了,直接上代码:

主函数文件main.py

import OrphaNet

if __name__ == '__main__':


    print('+++++starting')

    myCrawlOrphaNet = OrphaNet.CrawlOrphaNet()
    myCrawlOrphaNet.test()

爬虫文件OrphaNet.py

说明:初始化,和download方法无需任何更改,但路径需要更改,注释标注且标红了的,且该路径下有一个links.txt文件

实现顺序为-->按行读取links.txt文件数据,打开网站(该网站地址需要Links.txt数据,没有该数据,网址为https://www.orpha.net/consor/cgi-bin/Disease_Search_List.php?lng=EN&TAG=,有数据才有之后的参数),然后将读取的数据存入该文件路径下,新建一个python.txt存放数据

links.txt可存放的数据为0,A,B,C,D....Z(注意应当每一个字母或者数字占一行)

import urllib.request
import re
import sys
import codecs

class CrawlOrphaNet():
    #初始化
    def __init__(self):
        super(CrawlOrphaNet, self).__init__()
        print('CrawlOrphaNet init')
    #输入网页URL,返回打开网页地址html
    def download(self, url, numRetries=2):
        print('download url:' + url)
        try:
            html = urllib.request.urlopen(url).read()
            print('download done')
            print(len(html))
        except urllib.request.URLError as e:
            print('download Error:' + e)
            html=None
            if numRetries > 0:
                return self.download(url,numRetries-1)

        return html
    #输入参数,实现遍历,打开文档中所有参数下网页,设置网页路径在这里:
    def readDisease(self, lineNum):
        print('readDisease lineNum: ' + str(lineNum))
        urlLinkTEST='https://www.orpha.net/consor/cgi-bin/Disease_Search_List.php?lng=EN&TAG='#该网站路径可以直接使用,但是注意后面需要添加一个参数
        html=self.download(urlLinkTEST+lineNum)
        folderPath = 'E:/PYTHONWorkSpace/crawl_web/www.orpha.net/data/'#注意路径,需要更改
        outputFilePath = folderPath +  'python.txt'
        print('readDisease write start')
        html = html.decode('ISO-8859-1')
        listhtml = re.findall("<a href='OC_Exp.php\?lng=EN&Expert=(.*?)'>", html)
        for i in listhtml :
            print("here---------------------  : %s"  %(i))
        try:
            file_object = open(outputFilePath, 'a')#'w'写入模式,'a'追加模式
            for i in listhtml:
                file_object.write(i+'\n')
            print('readDisease write done')
        finally:
            file_object.close()


    #读取txt文件中每一行数据,返回每一行数据(参数)
    def parseLinkFile(self, inputFilePath):
        print('parseLinkFile inputFilePath:' + inputFilePath)
        file_object = codecs.open(inputFilePath,encoding='UTF-8', errors='ignore')
        try:
            print('parseLinkFile read start')
            while 1:
                line = file_object.readline()
                print('line: ' + str(line.strip()))
                self.readDisease(str(line.strip()))
                if not line:
                    break
            print('parseLinkFile read done')
        finally:
            file_object.close()

    def test(self):
        print('test')
        folderPath = 'E:/PYTHONWorkSpace/crawl_web/www.orpha.net/data/'#注意路径需要更改
        inputFile = 'links.txt'#路径下有一个txt文件
        self.parseLinkFile(folderPath + inputFile))
运行试一下即可
阅读更多
个人分类: python
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

python爬虫:如何爬网页数据并将其放在文本文件中

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭