Pycharm New UI 版本爬虫配置开发（安利向）

Pycharm New UI 版本爬虫配置开发（安利向）

说一下个人爬虫开发常用工具及操作：

​

1. pycharm IDE 工具
   VScode 确实功能更强大 但是个人觉得不如pycharm 操作直观，现在正式版pycharm 也支持node.js ，jupyter 等 一些其他开发环境 所以个人比较喜欢使用pycharm

2. cmd工具/终端
   个人电脑是windows端(能装学习神器 steam --doge) 装一些模拟器用于app逆向， 工作电脑是公司给的mac 不过无所谓 操作主要是 通过ssh 连接服务器剩下的都是linux 操作了

3. xshell；xftp/ Royal TSX
   1）： xshell 算是是windows 端最好用的ssh 工具了可以配置服务器地址一键连接 直接用xftp打开可视化服务器文件目录操作简单，还可以配置堡垒机转发 直接登陆内网服务器。
   2）：Royal TSX 是找到在mac端最好的xhell 替代了 免费版只能设置一个 Document 但是对我来说够用无所谓。这个工具也可以安装 terminal/ftp 等插件 一可以配置一键连接服务器和可视化文件目录 拖拽上传文件 （没研究过配置堡垒机～）

4. 工作流
   个人写代码比较散漫 能省事绝对不费事。。。。 所以一般开发 都是工作区根目录下直接建立抓取网站的文件目录 然后根据需求去调整单个网站爬虫的文件结构。当然 你习惯使用scrapy 或者 feapder 的话 最好还是好好布局一下你的工作区 这个是一劳永逸的事。剩下的操作基本就是 建立py 文件 ---- 粘贴请求 ---- 测试请求参数---- 处理json/html 数据-----设计存储---- 考虑采集效率。。。。（纯个人思路。。不建议参考）

5. 配置效果：
   本地的pycharm作为开发核心 只用于浏览和编写操作，代码的执行环境，redis，等都在服务器 除非必要操作 否则可以不使用 xshell；xftp/ Royal TSX cmd工具/终端

工具配置

服务器配置

​ 个人使用的是华为的云服务器 装的ubuntu 系统

1:拿到服务器后建议你自己新建一个工作用户

$sudo useradd -m -s /bin/bash userName // 在/home目录下新建userName目录
$sudo passwd userName    //设置密码

​ 然后通过你的工作用户来安装需要的环境和工具

2:安装anconda 管理你的 python 版本

wget https://mirrors.bfsu.edu.cn/anaconda/archive/Anaconda3-2022.10-Linux-x86_64.sh --no-check-certificate

bash Anaconda3-2021.11-Linux-x86_64.sh

安装时注意提示 需要yes/no的时候 都yes 最好 这样的默认环境路径也会自己添加 比较的方便

安装完成后 输入 conda -V 显示版本则表示安装成功

3:配置一下anconde 镜像

# 1: 安装目录下 执行 (注意是安装目录不要进入到anaconda文件夹中)
vim .condarc

# 2: 把下面内容替换 就行 这里使用的是上海交大的镜像
channels:
  - defaults
show_channel_urls: true
channel_alias: https://anaconda.mirrors.sjtug.sjtu.edu.cn/
default_channels:
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/main
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/free
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/mro
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/msys2
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/pro
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/r
custom_channels:
  conda-forge: https://anaconda.mirrors.sjtug.sjtu.edu.cn/conda-forge
  soumith: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/soumith
  bioconda: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/bioconda
  menpo: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/menpo
  viscid-hub: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/viscid-hub
  atztogo: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/atztogo
  
# 3: 执行
	conda clean -i 

4：安装python2 （公司需要）这里不换源容易超时失败

conda create --name py2 python=2.7

完成后 通过 conda info --env 来查看 你的 2.7 环境安装的路径 记下来 后面用到

5 安装redis

#简单 执行这两个命令即可（root 用户 当然你的工作用户配置root权限也可以）
sudo apt update
sudo apt install redis-server
完成后 可以通过redis-cli 查看 是否能进入到redis 如果不行 建议百度

这样服务器的环境就基本配置完成了

pycharm配置

注：PyCharm 2022.3.3 (Professional Edition) 版本 使用New UI (新版UI布局)

这个基本是主要的 配置了 首先我们需要自己创建一个 project 你自己随意 project的环境你自己也随意选因为后面我们都会修改。

打开你的设置 找到 工作区

点击 Add Interpreter 添加一个python环境

这里添加你的服务器地址 和工作用户名

输入密码 然后 Next

这里是 Interpreter 是你的服务器anconda环境 如果你 安装了python2 环境 上面已经说过保存路径 按照这个路径找到 bin 文件中的 python2.7 就是你的解释器

这里是 Sync folders 作伴是你的本地环境代码路径根目录 右边是 服务器存储的代码路径根目录。建议根目录文件名保持一致

配置完后 就可以在你的解释器环境里看到刚刚的配置了 会显示你的服务器地址 安装第三方库也可以直接通过 + 直接进去搜索安装 因为配置过镜像会很快 (注：这里安装的包会直接装到你的服务器conda 环境中而不是本地)

本地代码提交更新和执行

这里比较的简单 直接右键 你的根目录 找到 Deployment

就可以直观的看到上传下载 等功能 每次代码执行前最好还是上传一下 防止更新不及时

执行 的话 和本地执行没有区别 这里可以看到编译器下的执行路径已经是服务器端了

配置服务器 和本地的redis

这里可以打开数据库连接工具 可以看到 支持各种各样的数据库和连接方式 感兴趣的可以自己研究下 我这边只说一下redis

本地的redis 配置非常简单 按照图片填写即可就是本地端口

服务器 选择一下 SSH/SSl 连接方式 Use SSH tunnel 一行 后面 三个 ··· 点击就可以直接看到你刚刚已经配置好的服务器环境(注：这里就是ssh 连接方式)

这样 你的所有redis 操作 都是按照默认本地连接方式来操作服务器行上的redis 的 非常方便也可以直观的看到redis中的数据

其他

pycharm 中自带的terminal 工具 当你配置完 服务器环境后 这里就会直接进入到 服务器环境的terminal中。当然你也可以 通过重新创建 terminal 窗口 来直接连接服务器（进入到你的账号环境）这里就可以完全替代你的终端/cmd 等一系列工具了 windows端如果需要堡垒机转发的话 直接在xshell 中打开堡垒机连接 在后台挂机 pycharm 这边的Terminal 就可以直接连接到内网服务器 不需要再配置转发，mac端尝试过配置但是失败了 没有后续跟进。。。。

这里提供了 Excel 预览 TODO 等等小工具 感兴趣可以深入研究下

END