爬虫爬虫 day2 爬取校网文章

学习内容：

1、简单爬取代码的运用
2、文章和照片的保存

---

学习产出：

1、爬取代码

import requests #导入requests库
import bs4 #导入bs4库
from bs4 import BeautifulSoup #导入BeautifulSoup库
import urllib.request
import os
import sys
import  random
url='http://www.sdpei.edu.cn/news-show-13417.html'
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
html =r.text
list=[]
soup =BeautifulSoup(html,"html.parser")
div =soup.find(name = "div",attrs = "neir")
for p in soup.find(name = "div",attrs = "neir").children:
     spans=p('span')
     imgs =p('img')
      for img in imgs:
        t = random.randint(1,10)
        imgpath =str(t)+ ".jpg"
        src = img.get('src')
        imgurl ='http://www.sdpei.edu.cn/'+src #要拼出照片的url
        urllib.request.urlretrieve(imgurl,imgpath)#保存照片 （照片的url加照片名字）
        
	  for span in  spans :
        if isinstance(span, bs4.element.Tag):#除去空白
            list.append(span.string)

2、保存文章 照片保存之间放在上边了

fileHandle = open ( 'test.txt', 'w+' ,encoding='utf-8')
for line in list:
    fileHandle.write(str(line)+'\n')

---

学习总结

1、对于网页爬取格式的简单了解
2、复习了文本的存储，和学习了一下照片的爬取和存储

美好的周末 啥都没干 美滋滋 拜拜