背景
曾经几时,一个ONE 席卷了各类青年的手机。
这款APP
每天发布的一句话,一张图
它顺应这个快速且碎片化的时代,快捷,简洁
不同于各种味道的鸡汤
不同于质量参差不齐的散文
在ONE中,你不用去选择,每天的推送无感或者不喜欢就关闭软件,打动到内心就充其量截屏发个票圈
在其中
可能某个总结人生经验的一句话从而博得你的同感
无论是亲情友情或是爱情
可能在你某个失意时刻振奋你的生活
更加的努力和热爱生活
当然也可能让你更加明白现实以及负能量
多喝水
或许每一个现在手机中还有这个APP的同学,还有一个向往文艺的心。
网页介绍
ONE一个
这个网页简洁到略显简陋,明显快被时代所抛弃。
不过也难怪,网页版用户显然不是ONE的侧重方向。
当然,网页的UI设计和我们写爬虫没有什么关系。
网页分析
用chorme分析网页,利用Elements左边的小箭头可以快速跳转到文字在网页源代码的位置。
对所需数据反复点击,即可对网页构造内容有所了解,有利于后面对页面的解析。
利用Requests与Bs4爬取网页
导入requests包
import requests
如果没有包,利用pip下载到python即可。pip可以解决大多数python包的下载安装了。
python2:
pip install requests
本篇日记内容就是在python2环境下。
python3:
pip install requests
获取页面:
url = "http://www.wufazhuce.com/"
page = requests.get(url).content
print page
这样获得的内容就打印在控制台上,发现我们所需的数据就在该页面中。
解析页面
from bs4 import BeautifulSoup
soup = BeautifulSoup(page, 'html.parser')
for i in soup.find_all('div',class_ = 'item'):
onelist = i.find_all('a')
image = onelist[0].img['src']
word = onelist[1].text
infolist = i.find_all('p')
id = infolist[0].text
date = infolist[1].text+' '+infolist[2].text
BeautifulSoup做的工作就是对html标签进行解释和分类,不同的解析器对相同html标签会做出不同解释。
第一个参数是获取的页面
第二个参数是解析器
解析器常用的有三个:
html.parser
lxml
html5lib
python内部默认的解析器"html.parser",其自动补全标签的功能还有很差,但是应付这个简单的网页没有任何问题。而“lxml”的解析速度非常快,对错误也有一定的容性。
“html5lib”对错误的容忍度是最高的,而且一定能解析出合法的html5代码,但速度很慢。
根据对网页的具体分析,以上解析逻辑:
搜索网页中class类型为‘item’的div,得到一个列表,其中一个元素就包括一天的数据信息。
解析一天的数据,检索其中所有a标签,得到一个由a标签组成的列表,在第一个a标签中获得当天的图片url;第二个a标签获取当天的一句话。
检索一天的p标签,其中第一个就是今天的id,而第二个标签就是年月日了。
循环列表,获取七天的数据。
保存数据为dict格式
list = []
soup = BeautifulSoup(page, 'html.parser')
for i in soup.find_all('div',class_ = 'item'):
onelist = i.find_all('a')
image = onelist[0].img['src']
word = onelist[1].text
infolist = i.find_all('p')
id = infolist[0].text
date = infolist[1].text+' '+infolist[2].text
data = {
'image':image,
'word':word,
'id':id,
'date':date
}
list.append(data)
for dict in list:
for key in dict:
print key, ':', dict[key]
这样我们就获取了七天内ONE模块中各种数据,保存为dict格式,无论是存为Json格式应用于web数据,还是存储于mongoodb,都十分的方便。
学习总结
今天学到requests,beautifulsoup的简单应用,爬取无需登录的无反爬虫的静态网页。
写到这一步,但就爬取ONE来说,其实还有很多爬取工作还未完成。
比如:
一个ONE网页中ONE文章,ONE模块还未爬取。
如何解决爬取过往数据,比如说一年内的数据,而不是网站上显示的7天。
数据保存到本地数据库或云端。