眼看平安夜,圣诞节,元旦就要来了,刚学了点python就想着用它来爬取一点祝福语短信来练练手。我选择爬取的网站是个性学习网里面的祝福语短信(http://www.hengexing.com/z/80844.html)。
首先看一下爬取的效果,我是存入excel里面的。
然后贴出爬取代码,记录一下这一次爬取的过程:
# coding=utf-8
from bs4 import BeautifulSoup
import requests
import xlwt
#爬取一些短信祝福语
excelTabel= xlwt.Workbook()#创建excel对象
sheet1=excelTabel.add_sheet('平安夜短信祝福语')
nrows = 0
url=""
for num in range(1,6):
if num==1:
url = "http://www.hengexing.com/z/80844.html"
else:
url="http://www.hengexing.com/z/80844_%d.html" %num
r = requests.get(url)
#这里和网页的编码设置相关
r.encoding = 'gb2312'#解决乱码问题
soup = BeautifulSoup(r.text, 'html.parser')
listAA = soup.find_all("p")
for text in listAA:
print(text.getText())
sheet1.write(nrows,0,text.getText())
nrows+=1
excelTabel.save("平安夜祝福语.xls")