Python 一.开发环境搭建(分布式爬虫打造搜索引擎)

1. pycharm的windows安装和使用
2. mysql和navicat的安装和使用

3. vitualenv和vitualenvwrapper的安装和配置

   1.pycharm的windows安装和使用
   进入pycharm官网https://www.jetbrains.com/pycharm/

   

下载专业版,一定要下载专业版！！！

社区版功能有限。

64位的选择64位，不知道电脑是什么位数的，百度一下，你就知道

要激活码的，可以去官网上买，也可以百度去找，建议你去买，这个页面就是话的，看你具体用哪种方法了

具体方法就自己去百度了

到期时间！

安装python,https://www.python.org/

查看是否安装成功

成功！

配置解释器

2.mysql和navicat的安装和使用
安装MySQL,https://www.mysql.com/,

安装环境：Window10，64位
数据库：MySQL8.0.12 64位
安装方式：压缩包安装

安装步骤：
1、下载安装包
从MySQL官网上下载最新的安装包：
https://dev.mysql.com/downloads/file/?id=479669
直接点击最下方的“No thanks, just start my download.”即可开始下载
下载成功后的压缩包

配置环境变量

path ： bin的目录（必须配置）

MYSQL_HOME：mysql解压的目录 （作用：在DOC中，可以在任何盘符运行命令，如果不配置的话，需要到指定的目录）

从解压的文档结构中，我们可以看到里面没有my.ini配置文件，这里需要自己创建my.ini配置文件。

[mysql]
; 设置mysql客户端默认字符集
default-character-set=utf8
[mysqld]
;设置3306端口
port = 3306 
; 设置mysql的安装目录
basedir=E:\mysql
; 设置mysql数据库的数据的存放目录
datadir=E:\mysql\mydatabase
; 允许最大连接数
max_connections=200
; 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
; 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

要特别注意看这个路径，
basedir=E:\mysql
datadir=E:\mysql\mydatabase
特别注意
配置文件创建完成后，即可进行下一步的安装。

4、使用操作指令初始化MySQL
打开终端，进入到数据安装路径下的bin目录下：

在终端中输入指令“mysqld –initialize –console”，按回车键即可完成初始化：

注：初始化完成后，不要关闭窗口，因为这里会生成root用户的密码，图中的PwuYarh50M;X即是随机密码。
使用cmd打开命令窗口，（获取初始密码，2种选择选取一种即可）

选择1：输入mysqld –initialize命令初始化mysql的data数据目录，记住初始化完毕后，会在解压目录下生成一个data文件夹， 这个文件夹下有一个.err结尾的文件，打开后会有随机生成的密码。

选择2：使用mysqld –initialize –console命令，这样生成的随机密码就是上图
这个窗口不要关

5、数据库服务安装
数据库初始化完成后，即可将数据注册成Windows服务，这样就可以用服务的方式启动数据库了。
打开终端，进入到数据安装路径下的bin目录下，如步骤4的图1。
使用指令“mysqld –install”即可完成服务的安装：
一定要以管理员身份运行

右键，以管理员身份运行

到bin目录下：

注：在注册服务时，一定要使用管理员身份执行，否则安装服务时会被拒绝。

输入刚才的密码，登录 mysql -u root -p

修改登陆密码‘newpassword’ 可以替换成你需要的新密码

ALTER USER ‘root’@’localhost’ IDENTIFIED WITH mysql_native_password BY’newpassword’;

测试是否配置成功：

这就是成功了
记住你的密码

MySQL8.0本地访问设置为远程访问权限

1.管理员权限下（前面有怎么进入管理员权限了），进入bin目录，登录MySQL

mysql -u root -p

输入您的密码

2.选择 mysql 数据库

use mysql;

因为 mysql 数据库中存储了用户信息的 user 表。

3.在 mysql 数据库的 user 表中查看当前 root 用户的相关信息

select host, user, authentication_string, plugin from user; 

执行完上面的命令后会显示一个表格

查看表格中 root 用户的 host，默认应该显示的 localhost，只支持本地访问，不允许远程访问。

4.授权 root 用户的所有权限并设置远程访问

CREATE USER 'root'@'%' IDENTIFIED BY '111111';
GRANT ALL ON *.* TO 'root'@'%';
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '111111';

GRANT ALL ON 表示所有权限，% 表示通配所有 host，可以访问远程。

5.刷新权限

所有操作后，应执行

flush privileges;

6.查看 root 用户的 host

再次执行步骤 2，你会发现 root 用户的 host 已经变成 %，说明我们的修改已经成功，可以远程访问了。

7.访问数据库

远程访问数据库的可视化工具比较多如：Navicat、SQLyog、MySQL workbench 等，我这里使用 Navicat

输入访问的 host 和密码，报 2059 错误，这是因为 MySql8.0 版本 和 5.0 的加密规则不一样，而现在的可视化工具只支持旧的加密方式。

此问题有两种方法，一种是更新 Navicat 驱动来解决此问题，另一种是将 MySQL 用户登录的加密规则修改为 mysql_native_password，第一种方法我试过了没有起作用，我这里采用第二种方法。

8.修改加密规则

LTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER; 

password 为你当前密码。

9.更新 root 用户密码

ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password'; 

password 为你新设置的密码。

10.刷新权限

FLUSH PRIVILEGES; 

OK，设置完成，再次使用 Navicat 连接数据库，oh yeah~

CREATE USER 'root'@'%' IDENTIFIED BY '111111';

use database_name;告诉mysql你要使用那个数据库；

安装navicat，https://www.navicat.com.cn/，用来连接mysql

下载好后，直接下一步安装

安装完成后,点击 连接—-MSQL

查找本机ip,点击连接，下面是你MySQL名称密码

到你的ip上右键，打开连接：

这就是navicat与mysql成功建立了连接

新建数据库和表

右键，New Database

name可以随便写，箭头这两项，一定不要选错

点击OK后，回来看到scaryspider的数据库已经新建成功了。点击数据库名称，展开后，点击Tables，可以看到是没有表的。
Tables上右键，点击New Table,新建表。

点击Add Field，新建其他列

完成后，Ctrl+s，保存，弹出窗，填入表名

现在表已经建成了，数据是空的

填完后，Ctrl+s，保存

查询数据

查询结果就出来了

3.virtualenv和vitualenvwrapper的安装和配置

pip install virtualenv

有时候可能安装不上或者特别慢，我们可以选择国内豆瓣源的镜像：

pip install -i https://pypi.doubanio.com/simple/ virtualenv

将虚拟环境安装到当前目录下

virtualenv scrapytest