Python 空调网站新闻爬取并保存表格

一、爬取目标

BZ现在工作的专业是制冷空调，希望将某空调网的所有新闻一次爬取完整,以便后期的阅读和图片下载。爬取目标包括以下内容，爬取内容将以表格的形式保存为CSV文件。

标题	图片网址	链接
XXX	http:XXX.jpg	http:XXX.shtml

二、技术路径

使用requests、re、bs4、csv等库进行网页请求、网页分析、内容查找及储存。

三、目标网页分析

爬取网站的咨询网址格式如下图：

可以看出网页的索引格式为index2016.asp?page=2，因此可使用for对目标网址进行循环：

for i in range(1, int(page)):
	url = 'http://www.aircon.com.cn/news/index2016.asp?page=' + str(i)

需要爬取的新闻板块：

对应的网页代码如下，我们需要的为新闻链接中的title、href和img的src：

<li><div class="text">
            <h5><a title="荏原：逆行的售后服务工程师们" target="_blank" href="../news/htmfiles/73134.shtml">荏原：逆行的售后服务工程师们</a></h5>

<div class="info">

           <img class='fl' width='150' height='100' border='0'src='http://images.aircon.com.cn:8080/202002/20200212095712745.jpg'
<p>
为了应对疫情，政府加快了长沙某医院的改扩建速度...</p>
<div class="newsBottom">
<span class="time">艾肯空调制冷网&nbsp;&nbsp;&nbsp;2020-2-12</span>
<div class="shareBox">

针对以上内容使用BeautifulSoup和re库的find及findall对我们需求的内容进行检索：

for link in soup.find_all(attrs={'class': 'text'}):
	href = 'http://www.aircon.com.cn/news/' + link.find('a').get('href')[3:]
    title = link.find('a').get('title')
    src = ''.join(re.findall(r'http.*\.jpg', str(link.find('img'))))

四、爬虫代码

使用三个自定义函数：
1、get_html() 进行网页内容请求：

def get_html(url):  # 获取网页信息
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
                                 '537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        html = r.text
        return html
    except:
        print('website requests failure')

2、parsePage()进行网页分析：

def parsePage(html):  # 解析网页，用正则表达式找出相关信息，append入列表
    soup = BeautifulSoup(html, 'html.parser')
    try:
        hrefs = []
        titles = []
        srcs = []
        page = int(soup.find('a', attrs={'class': 'last'}).string[-3:])
        for link in soup.find_all(attrs={'class': 'text'}):
            href = 'http://www.aircon.com.cn/news/' + link.find('a').get('href')[3:]
            title = link.find('a').get('title')
            src = ''.join(re.findall(r'http.*\.jpg', str(link.find('img'))))
            hrefs.append(href)
            titles.append(title)
            srcs.append(src)
        if int(soup.find('a', attrs={'class': 'nxt'}).attrs['href'][19:]) != 2:
            return hrefs, titles, srcs
        else:
            return hrefs, titles, srcs, page
    except:
        print('parse failure')

3、save_contents将每个页面的爬取内容存储到csv文件中：

def save_contents(urlist1, urlist2, urlist3, f):
    writer = csv.writer(f)
    for i in range(len(urlist1)):
        writer.writerow([urlist1[i], urlist2[i], urlist3[i]])

4、主函数代码如下，由于咨询网站第一页实际网址有些差异，因此第一页单独爬取，第2页到最后一页则使用for循环爬取：

def main():
    url_a = "http://www.aircon.com.cn/news/"
    html_a = get_html(url_a)  # 获取该网页的详细信息
    with open("D:/CodeLIB/Datacollect.csv", 'w', newline='', encoding='utf-8-sig') as f:  # encoding is used to escaping error 'gbk' codec can't encode character '\xa0' in position
        hrefs, titles, srcs, page = parsePage(html_a)
        csv.writer(f).writerow(['Datacollect'])
        save_contents(titles, srcs, hrefs, f)
        print('percent: {:.2%}'.format(1/page))
        for i in range(2, int(page)):
            url = 'http://www.aircon.com.cn/news/index2016.asp?page=' + str(i)
            try:
                html = get_html(url)
                href, title, src = parsePage(html)
                save_contents(title, src, href, f)
                print('percent: {:.2%}'.format(i/page))
            except:
                print('Data saving failure')
            continue