python爬虫（1）——简单的爬取网页的信息

获取网上真实的语料数据，本身对Py的掌握不是很好，记录下自己学习的过程，希望对你有帮助。

#python3

获得taoeba的语料（不知道从哪翻到的这个网站，有各国语言的句子，访问速度较慢

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup as BS
import time
import re

python3中的urllib以及 requests http://blog.csdn.net/drdairen/article/details/51149498

#对句子列表网页进行获取，得到一个list包含句子链接
def get_selist(url):
    try:
        response = requests.get(url, headers=headers) #访问所有句子列表
        soup = BS(response.text, "lxml")  #解析网页
        urls = soup.find_all(href=re.compile('.*/cmn/sentences/show/[0-9].*')) #找到所有我要的<a>标签  得到一个list  接下来提取元素的href
        sentences = [] #存href
        for i in urls:  #遍历<a>标签列表
            sentences.append(i.get('href')) #get('href')只能对标签字符串操作，刚开始我直接对urls.get()是不可以的。。。
        sentences = list(set(sentences)) #对得到的href列表去重
        return sentences  #返回链接的list
    except Exception as e:  #网页访问错误就返回空列表
        a = []
        print('获取句子列表失败  链接为'+url)
        return a

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.