![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python3-爬虫
文章平均质量分 58
little_star_HE
这个作者很懒,什么都没留下…
展开
-
python3-爬虫-百度新闻结果
百度新闻结果爬虫 1. 获取新闻结果页面内容 在百度新闻搜索“清华大学”,得到页面图如下: #百度新闻搜索--清华大学 #获取对应页面的所有相关信息 import requests from bs4 import BeautifulSoup as BS headers={'user-agent':'xxxxxx', 'cookies':'XXXX'}#headers内容自行修改 url='https://www.baidu.com/s?ie=utf-8&medium=原创 2021-01-26 23:15:08 · 1436 阅读 · 4 评论 -
python3--爬虫-批量词典翻译英文单词
选择的是有道词典进行翻译英文单词 网页传送门 网页翻译单词页面视图: 直接上代码: import requests import time from bs4 import BeautifulSoup user_agent='XXX headers = { 'User-Agent':user_agent } word_list=['ADULTERATION','ABOLISHING','ABSENCE'] trans_list = [] for item in w.原创 2020-10-11 17:19:47 · 807 阅读 · 5 评论 -
python3--爬虫--微博爬虫实战
爬取目标用户的微博 写在前面:微博有三个网站,不同的网站爬取得难度不同,分别是 网页端:这里写目录标题爬取目标用户的微博一、目标页面解析页面内容整个过程结果展示 一、目标页面 首先确定好目标用户,这里选择知名演员李现的微博账号。爬取数据不用于非法或者违规的用途,单纯用于学习研究。 打开李现的微博主页,在链接中可以看到他的账号id是2360812967,这个是用来识别每个微博账号的id。 这是打开网页的源代码,会发现里面没有我们直接看到的如图中的内容,因为页面是通过Ajax动态渲染得到的,所以直接的网页源代原创 2020-09-10 15:25:20 · 2100 阅读 · 0 评论 -
python3-爬虫---猫眼电影榜单爬虫实战
猫眼电影榜单爬虫实战 文章目录猫眼电影榜单爬虫实战一、观察目标网页特征二、爬虫程序三、结果展示四、总结 一、观察目标网页特征 1.1. 观察下猫眼电影网站及其代码。传送门:猫眼网站首页 1.2. 选择【榜单】页面,可以看到有五个榜,分别是【热映口碑】,【最受期待】,【国内票房】,【北美票房】和【TOP 100】,基本上根据自己的需求来选择哪个榜单,每个榜单信息的主要差异在于显示的是评分,想看人数还是票房。【这里选择TOP 100 榜进行实战分析,对应的网页链接记得自己查看当前的URL】 猫眼电影-榜单-T原创 2020-08-22 17:33:46 · 1145 阅读 · 0 评论