![](https://img-blog.csdnimg.cn/8d359e7fa23e4857ae3134a3b334eb47.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
网络爬虫
武师叔
做一个有趣而不甘平庸的人!阿里云专家博主,华为云享专家,以后从事方向云计算领域,HCIE-Cloudcomputing
展开
-
用BeautifulSoup爬取微博热搜,并写入csv文件
需要提前安装requests和bs4库:#爬虫两种获取HTML文本信息的方法,来自bs4的BeautifulSoup和lxml的etree#本文介绍第一种写法来自bs4的BautifulSoupimport requestsfrom bs4 import BeautifulSoup#爬取网站地址url="https://tophub.today/n/KqndgxeLl9"#伪装浏览器浏览信息,获取user-Agent(在chrome浏览器输入 chrome://version ).原创 2022-04-01 18:40:50 · 1079 阅读 · 1 评论 -
查找Chrome浏览器header中的user-Agent两种方法
user-Agent是浏览器搜索信息,可以用它来模拟浏览器进行浏览,从而进行爬取网页信息(爬虫)第一种方法:首先:F12或右键,检查网页元素之后:NetWork——index——header——user-Agent第二种方法:在浏览器直接搜索:chrome://version...原创 2022-03-31 16:02:16 · 8887 阅读 · 0 评论