经过python的初步学习,对字符串、列表、字典、元祖、条件语句、循环语句……等概念应该已经有了整体印象,终于可以着手做一些小练习来巩固知识点,写爬虫练习再适合不过。
1. 网页基础
因为爬虫的本质就是从网页中获取所需的信息,所以对网页的知识还是要有一点了解。百度百科对HTML的定义:HTML,超文本标记语言,是一种标识性的语言。它包括一系列标签.通过这些标签可以将网络上的文档格式统一,使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本,HTML命令可以说明文字,图形、动画、声音、表格、链接等。
当然,网页并不仅仅只有HTML,它只能实现静态效果,我们经常看到的网页都还有有美化样式的CSS和实现动态效果的JavaScipt。
2. 爬虫流程
3. 安装requests和BeautifulSoup库
使用pip安装方式:
pip install requests
pip install BeautifulSoup4
requests基本用法
requests库有七个主要方法,最常用的就是requests.get()和requests.post()方法,入门阶段只关注requests.get()方法。
BeautifulSoup基本用法
可以先了解soup.find()和soup.find_all()函数用法,其他先不用管。
具体参考BeautifulSoup官方文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
4.爬取酷狗TOP500曲目练习
#导入requests和BeautifulSoup库import requestsfrom bs4 import BeautifulSoup#搜狗TOP500曲目链接url = "http://www.kugou.com/yy/rank/home/1-8888.html"#获取所有网页信息r = requests.get(url) #获取r的text属性,即获取url里面所有HTML、CSS和JavaScriphtml = r.text#利用BS库对网页进行解析,得到解析对象soupsoup =BeautifulSoup(html,'html.parser')
利用谷歌浏览器吧鼠标放在歌名上,右击选择“检查”,很容易找到需要爬取信息的特征:
看到花花绿绿的HTML代码别害怕,一个一个点,直到找到需要的信息就行了,可以看到所有歌名都是在这样
之下的,每一个这样的标签就代表一首歌名的代码。继续写如下代码:
#解析出歌名,find_all()函数返回的是tag的列表names = soup.find_all('a',class_='pc_temp_songname')# 打印namesprint(names)
……#利用for循环遍历出name,再利用get_text()方法获取标签中的文本数据for name in names: print(name.get_text())
到这里一个mini爬虫练习就结束了。完整代码如下:
import requestsfrom bs4 import BeautifulSoupurl = "http://www.kugou.com/yy/rank/home/1-8888.html"r = requests.get(url)html = r.textsoup =BeautifulSoup(html,'html.parser')names = soup.find_all('a',class_='pc_temp_songname')for name in names: print(name.get_text())
总共不到十行代码,很容易上手,在了解基础的requests和BeautifulSoup使用之后像豆瓣等这样简单的静态网站就都可以去爬了。