从txt中提取网址，访问网址提取ur地址并保存

进击的编程小菜鸟

于 2016-05-06 09:47:32 发布

阅读量4.3k

点赞数 1

分类专栏： python 2016年5月

本文链接：https://blog.csdn.net/cqylqq/article/details/51329046

版权

本文介绍如何使用编程语言从txt文本中提取网址，然后访问这些网址以获取更多URL，并将这些链接保存到文件中，实现数据抓取的初步步骤。

摘要由CSDN通过智能技术生成

<pre name="code" class="python"><strong>从1.txt读取url，并从读取的url的网页中提取url保存在2.txt</strong>

# -*- coding: UTF-8 -*-  
import urllib
import re
#定义获取目标网页函数
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

#定义获取url的函数
def getUrl(html):
    reg = r'href="(.+?)"'
    urlre = re.compile(reg)
    urllist = re.findall(urlre,html)
    return urllist

#定义url筛选函数
def selUrl(gurl):
    s = list(set(gurl))
    #set去重复url    
    fw = ''
    for i in range(len(s)) :
        fp = open('2.txt','w')
        #判断url是否含有http....头部，没有的加上
        if "/"in s[i]:
            if "http" in s[i]:
                fw += (s[i]+'\n')
                fp.write(fw)
            else: