1小时入门python爬虫-大鹏课程笔记（3）_大鹏教育 python数据分析与可视化教程-CSDN博客

import requests

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
url = 'https://movie.douban.com/cinema/nowplaying/beijing/'
r = requests.get(url, headers=header)  # 需要添加上述头文件才可以成功连上

print(r)

结果为 <Response [200]> 就表示正确访问，一些结果的错误代码如下：

如没有使用header,结果就为： <Response [418]>

print(r.text) 获取网页内容

2.2 使用BeatufulSoup解析网页

# 解析网页
from bs4 import BeautifulSoup
soup = BeautifulSoup(r.text, 'lxml')
print(soup)

结果与print(r.text)结果一致

2.3 获取标签的三种方法

# 找某个标签
print(soup.h1)    # 只能找到一个h1标签
print(soup.find('h1'))  # 只能找到一个h1标签

print(soup.find_all('h1'))   # 找到所有h1标签，并返回列表

结果：

<h1>北京 - 在线购票&影讯</h1>
<h1>北京 - 在线购票&影讯</h1>
[<h1>北京 - 在线购票&影讯</h1>, <h1 class="page-title">电影票 - 北京</h1>]

3 实现第一个数据爬虫

采集去哪儿网的景点数据，包含200多页，数据量大执行慢的可以少访问一些。

# 实操 获取去哪儿网的景点信息
# https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-1  是第一页的景点，总共提取200页，
# 网址的区别是后面的-1-x

# 获取网页地址
url_list = []
ur = 'https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-'
for i in range(1, 11):
    url_list.append(ur + str(i))
# print(len(url_list))

# 循环遍历网页，提取景点信息
datai = []  # 存放所有景点信息
n = 0
for uri in url_list:    # 获取一个页面
    r = requests.get(uri)  # 请求网页
    soup = BeautifulSoup(r.text, 'lxml')  # 解析网页
    # 获取每页景点的标签ul,通过属性去找到特定的标签，注意查看属性是否唯一
    ul = soup.find('ul',class_="list_item clrfix")
    # 获取每页中单个景点的信息，单景点在li标签中，一页有10个li,遍历获取
    li = ul.find_all('li')

    for l in li:
        dic = {}   # 存放单个景点信息
        dic['景点名称'] = l.find('span', class_="cn_tit").text  # 提取元素（内容）
        dic['攻略数'] = l.find('div', class_="strategy_sum").text
        dic['评论数'] = l.find('div', class_='comment_sum').text
        dic['星级数'] = l.find('span', class_='cur_star').attrs['style']  # 提取属性
        n += 1

    print('成功采集%i条数据' % n)
    datai.append(dic)
print(datai)

结果