Win10系统下Python爬虫常用库的安装05——pyquery、pymysql、pymongo、redis、flask、django、 jupyter

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42057995/article/details/89420807

pyquery

Python解释器的网页解析库,相较于beautifulsoup更加方便,与jQuery的完全一致,学过网站建设的话,应该会很快上手。

1)安装pyquery
直接使用pip命令就可以安装了
在这里插入图片描述
2)测试

from pyquery import PyQuery as pq	# 导入PyQuery包,起个别名pq
doc = pq('<html>hello PyQuery!</html>')	# 创建一个对象,给出页面的JS信息
result = doc('html').text()	# 调用text方法在doc中查找html的相关内容
 result	# result进行输出

在这里插入图片描述
pyquery解析库的详细内容,感兴趣可以打开自己查看
安装完成

pymysql

用来操作mysql数据库
1)安装pymysql
打开cmd,输入:pip3 install pymysql,回车,等待安装完成!
在这里插入图片描述
2)测试
尝试与本机的mysql数据库连接,进行一些操作
我用的MySQL的可视化管理器是Navicat,先查看一下
在这里插入图片描述以mysql数据库中的db表为例,进行一些数据的操作。

 import pymysql
conn = pymysql.connect(host = 'localhost', user = 'root', password = '123456', port = 3306, db = 'mysql')
cursor = conn.cursor()
cursor.execute('select * from db')
cursor.fetchone()

命令行的返回结果是:
在这里插入图片描述
在Navicat中,直接查看,结果相同!
在这里插入图片描述
安装完成!!

pymongo

用于操作MongoDB数据库。我们之前已经安装过MongoDB以及它的可视化管理工具了,需要安装的可以查看链接:Python环境在Win10系统下的搭建2——Anaconda、MongoDB、Redis

1)查看MongoDB服务是否正常开启
我们在安装MongoDB时,是将其作为一个服务,自动启动的,我们先到管理–>服务中,去看一下服务是否正常开启。
在这里插入图片描述

2)安装pymongo
命令行输入:pip3 install pymongo,回车等待下载完成。
在这里插入图片描述
3)测试

import pymongo	# 导入pymongo包
client = pymongo.MongoClient('localhost')	# 创建连接对象
db = client['newtestdb']	#声明一个数据库
db['table'].insert({'name': 'Mary'})	# 在表中插入一个数据
db['table'].find_one({'name': 'Mary'})	# 数据查看

在这里插入图片描述

安装成功!!

redis

用于分布式爬虫,维护公共查询队列,效率高

1)安装redis
打开cmd,输入:pip3 install redis,回车,等待安装完成!
在这里插入图片描述
2)测试使用

 import redis	# 导入redis包
r = redis.Redis('localhost', 6379)	# 声明redis对象r
 r.set('name', 'Mary')	# 调用set方法,插入一个键值对
 r.get('name')	#调用get方法,返回name的值

在这里插入图片描述

flask

Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask使用 BSD 授权。Flask也被称为 “microframework” ,因为它使用简单的核心,用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。
后期要是使用到代理的话,这个库就派上用场了。
flask使用指南
1)安装flask
打开cmd,输入:pip3 install flask,回车,等待安装完成。
在这里插入图片描述

2)测试
import导入包,只要不报错,就没问题啦!具体的示例可以参照上方使用指南

django

Django是一个开放源代码的Web应用框架,由Python写成。采用了MVC的框架模式,即模型M,视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是CMS(内容管理系统)软件。并于2005年7月在BSD许可证下发布。
Django百科

Django官网

1)安装Django
打开cmd,输入:pip3 install django,回车,等待安装完成。
在这里插入图片描述

2)测试
导入包不报错就没问题

jupyter

pyter 编辑 讨论 

Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。
Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。
jupyter使用文档,想要多了解的,自己去看吧!

1)安装jupyter
打开cmd,输入:pip3 install jupyter,回车等待结束!
在这里插入图片描述

依赖包相当多,一定要有耐心哦!

2)查看
打开Python安装路径,查看是否安装成功
在这里插入图片描述
3)使用
cmd下,输入:jupyter notebook,会弹出localhost:8888的页面,里面会有当前运行目录下的文件夹
在这里插入图片描述

然后,你可以新建一个Python3的文件夹
在这里插入图片描述

新建好文件夹之后。可以修改名称
在这里插入图片描述

文件夹建好后,可以编写一些代码进行测试运行啦!(代码编写好之后,Ctrl+回车即可运行代码)
在这里插入图片描述
按键盘上的B键,就可以增加一个命令行啦!
在这里插入图片描述

这里我们进行一个请求库的测试吧!
在这里插入图片描述
完成安装!!

到此为止所有的包安装都已经进行按成了,我用了一天的时间将所有的配置在win10系统下全部弄好,这个过程真的很考验耐心和细心,小伙伴们加油吧!

展开阅读全文

WIN10 下 安装Jupyter错误

12-14

C:\Windows\system32>jupyter notebookrnTraceback (most recent call last):rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\runpy.py", line 193, in _run_module_as_mainrn "__main__", mod_spec)rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\runpy.py", line 85, in _run_codern exec(code, run_globals)rn File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Scripts\jupyter-notebook.EXE\__main__.py", line 9, in rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\jupyter_core\application.py", line 266, in launch_instancern return super(JupyterApp, cls).launch_instance(argv=argv, **kwargs)rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\traitlets\config\application.py", line 657, in launch_instancern app.initialize(argv)rn File "", line 2, in initializern File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\traitlets\config\application.py", line 87, in catch_config_errorrn return method(app, *args, **kwargs)rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\notebook\notebookapp.py", line 1368, in initializern self.init_webapp()rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\notebook\notebookapp.py", line 1161, in init_webapprn self.jinja_environment_optionsrn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\notebook\notebookapp.py", line 154, in __init__rn base_url, default_url, settings_overrides, jinja_env_options)rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\notebook\notebookapp.py", line 263, in init_settingsrn nbextensions_path=jupyter_app.nbextensions_path,rn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\notebook\notebookapp.py", line 874, in nbextensions_pathrn from IPython.paths import get_ipython_dirrn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\IPython\__init__.py", line 55, in rn from .terminal.embed import embedrn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\IPython\terminal\embed.py", line 15, in rn from IPython.core.interactiveshell import DummyMod, InteractiveShellrn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\IPython\core\interactiveshell.py", line 61, in rn from IPython.utils import iorn File "c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\IPython\utils\io.py", line 88, in rn devnull = open(os.devnull, 'w')rnFileNotFoundError: [Errno 2] No such file or directory: 'nul' 论坛

没有更多推荐了,返回首页