经过python的初步学习,对字符串、列表、字典、元祖、条件语句、循环语句……等概念应该已经有了整体印象,终于可以着手做一些小练习来巩固知识点,写爬虫练习再适合不过。
1. 网页基础
因为爬虫的本质就是从网页中获取所需的信息,所以对网页的知识还是要有一点了解。百度百科对HTML的定义:HTML,超文本标记语言,是一种标识性的语言。它包括一系列标签.通过这些标签可以将网络上的文档格式统一,使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本,HTML命令可以说明文字,图形、动画、声音、表格、链接等。
当然,网页并不仅仅只有HTML,它只能实现静态效果,我们经常看到的网页都还有有美化样式的CSS和实现动态效果的JavaScipt。
![f1dc9f3d0c0fb3d444c5aff81392bd04.png](https://i-blog.csdnimg.cn/blog_migrate/8e0c28b30c4c5271a1b29eab32d8997d.jpeg)
![ab7a3c0d46df33a53983567697de0c5a.png](https://i-blog.csdnimg.cn/blog_migrate/e7699ce135af0da996a88100c4f867ca.jpeg)
网页构成
![6bd7441108a10f127971f6b2ba8015ce.png](https://i-blog.csdnimg.cn/blog_migrate/1e6ac730c56941b97346327d30ea8048.jpeg)
右侧的网页就是由左侧的HTML代码实现的
2. 爬虫流程
![6c0525154b14e59fe42a5945e1910f10.png](https://i-blog.csdnimg.cn/blog_migrate/7c97accc2b01282d94f6e21e40c2d92e.jpeg)
入门阶段只关注前三步
3. 安装requests和BeautifulSoup库
使用pip安装方式:
pip install requests
pip install BeautifulSoup4
![e085e4a554c57ec5afb0051b75a204f6.png](https://i-blog.csdnimg.cn/blog_migrate/228fd0422d24fa62d1a967bbcbc276d0.jpeg)
requests基本用法
![69b538f95bc8e361468ccc63616f6b48.png](https://i-blog.csdnimg.cn/blog_migrate/55c073c1b55a5bc2992dff05c9b41c46.jpeg)
requests库有七个主要方法,最常用的就是requests.get()和requests.post()方法,入门阶段只关注requests.get()方法。
BeautifulSoup基本用法
可以先了解soup.find()和soup.find_all()函数用法,其他先不用管。
具体参考BeautifulSoup官方文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
4.爬取酷狗TOP500曲目练习
#导入requests和BeautifulSoup库import requestsfrom bs4 import BeautifulSoup#搜狗TOP500曲目链接url = "http://www.kugou.com/yy/rank/home/1-8888.html"#获取所有网页信息r = requests.get(url) #获取r的text属性,即获取url里面所有HTML、CSS和JavaScriphtml = r.text#利用BS库对网页进行解析,得到解析对象soupsoup =BeautifulSoup(html,'html.parser')
![ac497347f77153633f9932ebb62f5cb9.png](https://i-blog.csdnimg.cn/blog_migrate/0bb3b88af3f9a5d3158f19287ebdb21e.jpeg)
只获取曲目名称
利用谷歌浏览器吧鼠标放在歌名上,右击选择“检查”,很容易找到需要爬取信息的特征:
![7cc06ea82d854727da989e361f265537.png](https://i-blog.csdnimg.cn/blog_migrate/989175f6277d558d69d51fc52f96361c.jpeg)
看到花花绿绿的HTML代码别害怕,一个一个点,直到找到需要的信息就行了,可以看到所有歌名都是在这样
![364f074aca3f4ed2f82e32290921f9bf.png](https://i-blog.csdnimg.cn/blog_migrate/abf6cfce8daccd744bd833a22327cfc2.jpeg)
之下的,每一个这样的标签就代表一首歌名的代码。继续写如下代码:
#解析出歌名,find_all()函数返回的是tag的列表names = soup.find_all('a',class_='pc_temp_songname')# 打印namesprint(names)
![8d97f509acef80513d0beab26c693256.png](https://i-blog.csdnimg.cn/blog_migrate/32c44eb0975753d696e2f28dea035882.jpeg)
……#利用for循环遍历出name,再利用get_text()方法获取标签中的文本数据for name in names: print(name.get_text())
![99158b2f8624eedf8dbdbb74646c9966.png](https://i-blog.csdnimg.cn/blog_migrate/9c6c1302bcfdc6f6c7c966779b6126c7.jpeg)
到这里一个mini爬虫练习就结束了。完整代码如下:
import requestsfrom bs4 import BeautifulSoupurl = "http://www.kugou.com/yy/rank/home/1-8888.html"r = requests.get(url)html = r.textsoup =BeautifulSoup(html,'html.parser')names = soup.find_all('a',class_='pc_temp_songname')for name in names: print(name.get_text())
![4c9954a54a978fa66111698b5c685c71.png](https://i-blog.csdnimg.cn/blog_migrate/24265c365ba20fe0bc2a40db5aed35d5.jpeg)
总共不到十行代码,很容易上手,在了解基础的requests和BeautifulSoup使用之后像豆瓣等这样简单的静态网站就都可以去爬了。