python提取网页对应内容_用python提取网页的部分内容

所以我有一个数据检索/入口项目，我想提取一个网页的某个部分，并将其存储在一个文本文件中。我有一个url的文本文件，程序应该为每个url提取页面的相同部分。

具体而言，该程序在“this”页面上的“Legal Authority：”之后复制法律法规。正如你所看到的，只有一个法规列出。但是，其中一些网址也看起来像this，这意味着有多个分离的法规。

我的代码适用于第一种页面：

from sys import argv

from urllib2 import urlopen

script, urlfile, legalfile = argv

input = open(urlfile, "r")

output = open(legalfile, "w")

def get_legal(page):

# this is where Legal Authority: starts in the code

start_link = page.find('Legal Authority:')

start_legal = page.find('">', start_link+1)

end_link = page.find('

legal = page[start_legal+2: end_link]

return legal

for line in input:

pg = urlopen(line).read()

statute = get_legal(pg)

output.write(get_legal(pg))在“legalfile”输出.txt中给我所需的法定名称。但是，它不能复制多个法定名称。我试过这样的事情：

def get_legal(page):

# this is where Legal Authority: starts in the code

end_link = ""

legal = ""

start_link = page.find('Legal Authority:')

while (end_link != ' '):

start_legal = page.find('">', start_link+1)

end_link = page.find('

end2 = page.find(' ', end_link+1)

legal += page[start_legal+2: end_link]

if

break

return legal由于每一个章程清单以' '结尾(检查两个链接中的任何一个的来源)，我想我可以使用这个事实(将其作为索引的末尾)循环并收集一个字符串中的所有章程。有任何想法吗？