1:MongoDB数据库完整的安装流程,本人已经亲自验证ok:
https://www.cnblogs.com/zhoulifeng/p/9429597.html
默认端口: 27017
net start MongoDB 开启服务
net stop MongoDB 关闭服务
通过python安装pymongo: pip install pymongo
—>可视化工具有:robo 3T or Navicat
–>在命令行窗口, 输入mongo,进入命令行模式
查看当前数据库:
show dbs
选定当前使用的数据库(A:数据库名)
use A
查看当前数据库A下 集合:
show tables
或者
show collections
查看数据库:
db.getCollection(要查的集合名).find({})
或者
db.集合名.find()
删除数据库:
db.集合名.drop()
MongoDB没有创建数据库的命令,但有类似的命令。
如:如果你想创建一个“myTest”的数据库,先运行use myTest命令,之后就做一些操作(如:db.createCollection(‘user’)),这样就可以创建一个名叫“myTest”的数据库。
2:mysql 数据库完整安装流程. (最新的已经到8.0.17)
请参考该文档: https://www.jianshu.com/p/647a596cb251
mysql版本安装路径: https://dev.mysql.com/downloads/mysql/
可以参考该文档学习mysql基本操作,非常不错的文档:
https://www.cnblogs.com/liubinsh/p/7568423.html
默认端口 设置3306端口
初始化默认密码: mysqld --initialize --console
在命令行窗口,输入mysql -u root -p 回车 ,输入初始密码,然后进入命令行模式
修改默认密码: ALTER USER ‘root’@‘localhost’ IDENTIFIED BY “123456”;
开启mysql服务:net start mysql
关闭mysql服务 : net stop mysql
通过python安装mysql:
pip install mysql
D:\mysql-8.0.17-winx64同级目录下新增一个my.ini文件 ,内容如下:
[mysqld]
设置3306端口
port=3306
设置mysql的安装目录
basedir=D:\mysql-8.0.17-winx64 #
设置mysql数据库的数据的存放目录
datadir=D:\mysql-8.0.17-winx64\Data # 此处同上
允许最大连接数
max_connections=200
允许连接失败的次数。这是为了防止有人从该主机试图攻击数据库系统
max_connect_errors=10
服务端使用的字符集默认为UTF8
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
默认使用“mysql_native_password”插件认证
default_authentication_plugin=mysql_native_password
[mysql]
设置mysql客户端默认字符集
default-character-set=utf8
[client]
设置mysql客户端连接服务端时默认使用的端口
port=3306
default-character-set=utf8
下载工具 Navicat Premium Win10 12.1.22 ,然后参考文档:
http://www.scrapyd.cn/jiaocheng/166.html
- python pipeline.py中,通过pymysql.connect链接mysql, 前提是需要先创建对应的数据库。
- 通过工具Navicat创建数据库:
A:创建数据库名:如果scrapymysql
B:创建表名: 如:mingyan
C:创建字段信息,这个是比较重要的,如何创建字段是关键,可以根据爬虫文件items.py中定义的字段来创建:比如:定义了两个字段 tag / cont , 还必须加一个id字段
3.创建好数据库后,运行程序,通过下列代码就可以链接到mysql:
密码改成自己设定的密码:
# 连接数据库
self.connect = pymysql.connect(
host=‘127.0.0.1’, # 数据库地址
port=3306, # 数据库端口
db=‘scrapymysql’, # 数据库名
user=‘root’, # 数据库用户名
passwd=‘123456’, # 数据库密码
charset=‘utf8’, # 编码方式
use_unicode=True)
# 通过cursor执行增删查改
self.cursor = self.connect.cursor()
4.然后刷新Navicat 工具表,就可以看到存储的数据了
5: redis安装 ,由于redis不支持window版本,需要从github上下载 Redis-x64-3.2.100.zip
A: 下载https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100
B: 默认端口 :6379
C: 打开一个cmd命令窗口,在里面输入 cd D:\MyFolder\Redis-x64-3.2.100,然后输入 redis-server.exe redis.windows.conf ,来启动redis服务端
D: 新开一个cmd窗口,输入cd D:\MyFolder\Redis-x64-3.2.100,然后输入redis-cli,启动一个redis客户端。如果出现IP+端口号,则表示成功。
配置环境变量:在path里添加Redis的安装路径: D:\MyFolder\Redis-x64-3.2.100
在命令行窗口输入 : redis-cli -h 127.0.0.1 -p 密码 (如果没有密码输入:redis-cli -h 127.0.0.1),回车,就可以进入命令行模式,然后可以对redis数据库进行操作
#为当前数据库设置密码(redis默认是不需要密码的)
127.0.0.1:6379> config set requirepass 123456
OK
#这时候输入数据库set命令就需要密码了
127.0.0.1:6379> set key 123
(error) NOAUTH Authentication required.
#输入密码
127.0.0.1:6379> auth 123456
OK
#可以继续使用了
127.0.0.1:6379> set key 123
OK
常用的redis服务命令。
卸载服务:redis-server --service-uninstall
开启服务:redis-server --service-start
停止服务:redis-server --service-stop
重命名服务:redis-server --service-name name
可以直接下载免费可视化工具( Redis桌面管理工具(Redis Desktop Manager) 0.9.8 windows版): https://www.newasp.net/soft/391754.html
该工具免费,最新的现在要收费了