一开始代码如下
import re,requests
def get_one_page(url):
response = requests.get(url)
response.encoding="gb2312"
return response.text
def parse_one_page(html):
pattern = re.compile('<a href="(.*?)" class="ulink"?>(.*?)</a>',re.S)
items = re.findall(pattern,html)
return items
def main():
url = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_190.html'
html=get_one_page(url)
print(parse_one_page(html))
if __name__=='__main__':
main()
正则表达式为<a href="(.*?)" class="ulink"?>(.*?)</a>
这样匹配会出现很多无关的<a>标签的内容
随意分析页面代码
将正则表达式改为:
<td height="26">.*?<a href="(.*?)" class="ulank"?>(.*?)da/a>.*?</td>
大功告成!