爬虫课上案例

案例1：获取每个电影的标题和图片地址

1.小型网站用requests+lxml+文件即可
数据所在的网站，分为：大型 和 中小型
2.中大型网站用 爬虫框架 + 采集技术 + 数据存储技术
例如 scrapy + xpath/re + MySQL
3.安装requests库 pip install requests

import requests
url = "IP地址"
# 用法1：获取网页的源码
response = requests.get(url)
print(response)
# 用法3：设置文本信息的正确编码格式
# encoding：使用的编码
# apparent_encoding：网页用的