python爬虫
文章平均质量分 78
小孙不够睡
IT小学生,随便写写,分享技术
个人博客:https://stephen-smj.tech/
展开
-
python爬虫爬取豆瓣电影评分排行榜前n名的前n页影评
目标网站https://movie.douban.com/explore#!type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20&page_start=0(豆瓣电影——选电影——豆瓣高分——按评价排序)爬虫基本思路1.首先发送请求并返回requests(最好模拟谷歌浏览器的头部访问(即下面的headers),并且设置一个每次访问的间隔时间,这样就不容易触发网站的反爬机制(原创 2020-11-21 15:58:39 · 2708 阅读 · 0 评论 -
python爬虫爬取桌面壁纸
目标美图网站:http://www.weather.com.cn/weather/101210701.shtml(有彩蛋)爬虫的基本思路:1.首先发送请求并返回requests(最好模拟谷歌浏览器的头部访问(即下面的headers),并且设置一个每次访问的间隔时间,这样就不容易触发网站的反爬机制(说白了就是模拟人类的访问行为))2.获得requests对象后使用BeautifulSoup (美丽的汤??也不知道为啥要起这个名)来解析requests对象,注意这里要用request.text,就取文本原创 2020-11-21 15:32:05 · 661 阅读 · 0 评论 -
python爬虫爬取天气预报信息
目标天气预报网站:http://www.weather.com.cn/weather/101210701.shtml需要用到的库有requests(用来发送请求和接收url)BeautifulSoup(用来解析html文本)爬虫的基本思路:1.首先发送请求并返回requests(最好模拟谷歌浏览器的头部访问(即下面的headers),并且设置一个每次访问的间隔时间,这样就不容易触发网站的反爬机制(说白了就是模拟人类的访问行为))2.获得requests对象后使用BeautifulSoup (美丽的汤原创 2020-11-21 15:25:23 · 5772 阅读 · 3 评论