要实现对特定网站的爬取和分析需安装特定的一些python组件,如数据获取组件request,数据解析组件bs4,以及存储分析组件pandas以及可视化组件matplotlib以及wordcloud词云组件。
说明:因一些网站有反爬机制,因此需要动态生成header信息,为此我们需采取动态更新请求头(Headers)的策略,可以使用requests
库结合fake-useragent
库来动态生成Header信息。
fake-useragent库用于生成随机的User-Agent字符串,每次请求时都会更新这个字符串,从而避免了被服务器识别出是爬虫工具。这样可以有效绕过简单的反爬机制。
安装准备
#设置安装源为国内清华大学以加快安装速度
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#安装常用的组件,如果安装遇到权限问题,在后面增加--user参数
pip install requests bs4 pandas fake_useragent matplotlib wordcloud imageio jieba
#如有组件需更新,请用--upgrade参数 如更新openpyxl到最新版本以支持excel文档的读写
pip install --upgrade openpyxl
#如果词云图不显示则应更新安装 Pillow
pip install Pillow==9.5.0
实现中要用到的工具包可以参考以下信息
环境与工具 | 如何安装 | 帮助页面 |
---|---|---|
PyCharm | ||
Python 3.x | ||
requests | pip install requests | https://www.runoob.com/python3/python-requests.html |
BeautifulSoup4 | pip install beautifulsoup4 | http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/ |
pandas | pip install pandas | |
matplotlib | pip install matplotlib | https://matplotlib.org/stable/gallery/index.html |
wordcloud | pip install wordcloud | https://blog.csdn.net/weixin_69553582/article/details/129906259 |