爬虫实例——利用BeautifulSoup库爬取页面信息

爬虫实例——利用BeautifulSoup库爬取芒果TV页面信息

使用 python爬虫 爬取页面信息。首先从网络上获取芒果TV网页内容，然后提取网页内容中信息到合适的数据结构 ，最后利用数据结构展示并输出结果。

功能描述

输入：芒果TV的url链接
输出：电视剧信息输出（电视剧，剧情）
技术路线：request—bs4
定向爬虫：仅对输入url进行爬取，不进行扩展爬取

结果如下：

代码如下：

import requests
from bs4 import BeautifulSoup
import bs4
url="https://v.qq.com/channel/tv"
ulist=[]
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
demo=r.text
soup=BeautifulSoup(demo,"html.parser") 
lis = soup.find_all('a','slider_figure')
#lis为一个列表，列表元素为item,每一个item即为一个<a>....</a>标签
for item in lis:
    #对标签采用find_all()方法找到div,返回类型为列表，列表元素为div标签，之后对再提取标签信息
    tds = item('div')
    ulist.append([tds[2].string,tds[4].string]) 

​tplt="{0:{2}^20}\t{1:{2}^20}"
print(tplt.format("电视剧","剧情 ",chr(12288)))
for i in range(20):
    u=ulist[i]
    print(tplt.format(u[0],u[1],chr(12288)))