学习记录:python获取猫眼信息

loar_

已于 2022-04-11 02:02:49 修改

阅读量998

点赞数 1

分类专栏：爬虫学习记录文章标签：学习 python 开发语言

于 2022-04-11 01:59:44 首次发布

本文链接：https://blog.csdn.net/loar_/article/details/124089863

版权

本文记录了一位大数据学习者初次尝试爬虫的经历，通过Python爬取猫眼电影即将上映的30部电影数据。在学习过程中遇到了网页反爬机制、字符串处理和HTML标签定位等挑战。分享了学习心得并推荐了嵩天老师的慕课课程。

摘要由CSDN通过智能技术生成

大数据孤儿的学习记录，一些学习日常，希望路过的大佬们提提意见。

第一个有点样子的爬虫程序

学了定向爬虫后，找了猫眼电影练了一下手，得到了即将上映的30部电影的信息，代码如下：

import requests
import bs4
from bs4 import BeautifulSoup

#获取网页内容
url = "https://www.maoyan.com/films?showType=2&sortId=2"
hd = {
   'user-agent':'Chrome/10'}
r = requests.get(url,timeout=30,headers=hd)
r.encoding = r.apparent_encoding
html = r.text

#bs4解析网页内容
datalist = []   #创建空列表，存储内容