Python学习——爬虫常用库

最新推荐文章于 2024-04-30 20:59:32 发布

怪怪丸

最新推荐文章于 2024-04-30 20:59:32 发布

阅读量740

点赞数 4

分类专栏： Python 文章标签： Python库 Python 爬虫

本文链接：https://blog.csdn.net/qq_41582429/article/details/101836222

版权

Python 专栏收录该内容

16 篇文章 2 订阅

订阅专栏

urllib库和re库

import urllib
import urllib.request
urllib.request.urlopen('http://www.baidu.com') #此处为英文圆括号

在这里插入图片描述

requests库

在这里插入图片描述
js渲染的网页无法用requests请求

selenium库

在这里插入图片描述
可请求js渲染后的网页
使用测试：
缺少Chromedriver，使用pip安装失败，
可到http://chromedriver.storage.googleapis.com/或镜像网站：http://npm.taobao.org/mirrors/chromedriver/77.0.3865.10/下载
解压后放到python安装位置的script文件夹内
重新打开shell测试
在这里插入图片描述
Chromedriver安装成功！
输入以下命令行检验是否可用

from selenium import webdriver
driver = webdriver.Chrome()

在这里插入图片描述
自动跳出Chrome浏览器该页面，证明可用
输入命令行driver.get('http://www.baidu.com')可自动跳转到指定页面，driver.page_source显示网页源代码

注意：如果不想让浏览器跳出，可使用phantomjs（已停止维护，新版selenium不支持，需要下载旧版）

beautifulSoup4和openpyxl

在这里插入图片描述

pyquery网页解析库

安装并验证

>>> from pyquery import PyQuery as pq
>>> doc = pq('<html></html>')
>>> doc = pq('<html>zhengyuting</html>')
>>> result = doc('html').text()
>>> result

在这里插入图片描述

进入https://pythonhosted.org/pyquery/查看更多pyquery语法

pandas

在这里插入图片描述

flask库

代理获取与存储的接口
在这里插入图片描述

Django

直接用pip安装即可，此处由于网络原因一直安装失败，所以我用了另一种方法：
到Django官网下载安装包，解压到Python同级根目录
使用以下命令：

cd Django所在目录
python setup.py install

开始安装
在这里插入图片描述

此处缺少sqlparse文件，如果不能pip就去官网下载：
在环境变量path里添加Django路径：
测试运行，成功！

使用pycharm时遇到库没有导入的问题

使用pycharm时，导入包会出现错误
解决方案如下：
解释器重新配置即可
在这里插入图片描述

怪怪丸

关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Python学习——爬虫常用库

安装爬虫框架：beautifulSoup4安装openpyxl使用pycharm时，导入包会出现错误解决方案如下：解释器重新配置即可安装pandas包时因为网络会出现一系列问题...
复制链接

扫一扫

专栏目录

Python学习——爬虫常用库

urllib库和re库

requests库

selenium库

beautifulSoup4和openpyxl

pyquery网页解析库

pandas

flask库

Django

使用pycharm时遇到库没有导入的问题

“相关推荐”对你有帮助么？