一、爬取目标
BZ现在工作的专业是制冷空调,希望将某空调网的所有新闻一次爬取完整,以便后期的阅读和图片下载。爬取目标包括以下内容,爬取内容将以表格的形式保存为CSV文件。
标题 | 图片网址 | 链接 |
---|---|---|
XXX | http:XXX.jpg | http:XXX.shtml |
二、技术路径
使用requests、re、bs4、csv等库进行网页请求、网页分析、内容查找及储存。
三、目标网页分析
爬取网站的咨询网址格式如下图:
可以看出网页的索引格式为index2016.asp?page=2,因此可使用for对目标网址进行循环:
for i in range(1, int(page)):
url = 'http://www.aircon.com.cn/news/index2016.asp?page=' + str(i)
需要爬取的新闻板块:
对应的网页代码如下,我们需要的为新闻链接中的title、href和img的src:
<li><div class="text">
<h5><a title="荏原:逆行的售后服务工程师们" target="_blank" href="../news/htmfiles/73134.shtml">荏原:逆行的售后服务工程师们</a></h5>
<div class="info">
<img class='fl' width='150' height='100' border='0'src='http://images.aircon.com.cn:8080/202002/20200212095712745.jpg'
<p>
为了应对疫情,政府加快了长沙某医院的改扩建速度...</p>
<div class="newsBottom">
<span class="time">艾肯空调制冷网 2020-2-12</span>
<div class="shareBox">
针对以上内容使用BeautifulSoup和re库的find及findall对我们需求的内容进行检索:
for link in soup.find_all(attrs={'class': 'text'}):
href = 'http://www.aircon.com.cn/news/' + link.find('a').get('href')[3:]
title = link.find('a').get('title')
src = ''.join(re.findall(r'http.*\.jpg', str(link.find('img'))))
四、爬虫代码
使用三个自定义函数:
1、get_html() 进行网页内容请求:
def get_html(url): # 获取网页信息
try:
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = r.text
return html
except:
print('website requests failure')
2、parsePage()进行网页分析:
def parsePage(html): # 解析网页,用正则表达式找出相关信息,append入列表
soup = BeautifulSoup(html, 'html.parser')
try:
hrefs = []
titles = []
srcs = []
page = int(soup.find('a', attrs={'class': 'last'}).string[-3:])
for link in soup.find_all(attrs={'class': 'text'}):
href = 'http://www.aircon.com.cn/news/' + link.find('a').get('href')[3:]
title = link.find('a').get('title')
src = ''.join(re.findall(r'http.*\.jpg', str(link.find('img'))))
hrefs.append(href)
titles.append(title)
srcs.append(src)
if int(soup.find('a', attrs={'class': 'nxt'}).attrs['href'][19:]) != 2:
return hrefs, titles, srcs
else:
return hrefs, titles, srcs, page
except:
print('parse failure')
3、save_contents将每个页面的爬取内容存储到csv文件中:
def save_contents(urlist1, urlist2, urlist3, f):
writer = csv.writer(f)
for i in range(len(urlist1)):
writer.writerow([urlist1[i], urlist2[i], urlist3[i]])
4、主函数代码如下,由于咨询网站第一页实际网址有些差异,因此第一页单独爬取,第2页到最后一页则使用for循环爬取:
def main():
url_a = "http://www.aircon.com.cn/news/"
html_a = get_html(url_a) # 获取该网页的详细信息
with open("D:/CodeLIB/Datacollect.csv", 'w', newline='', encoding='utf-8-sig') as f: # encoding is used to escaping error 'gbk' codec can't encode character '\xa0' in position
hrefs, titles, srcs, page = parsePage(html_a)
csv.writer(f).writerow(['Datacollect'])
save_contents(titles, srcs, hrefs, f)
print('percent: {:.2%}'.format(1/page))
for i in range(2, int(page)):
url = 'http://www.aircon.com.cn/news/index2016.asp?page=' + str(i)
try:
html = get_html(url)
href, title, src = parsePage(html)
save_contents(title, src, href, f)
print('percent: {:.2%}'.format(i/page))
except:
print('Data saving failure')
continue