python下载注册
1.下载地址点击打开链接,最好下载python3+,32位
2.安装关键点
自定义安装位置
打开命令行cmd,输入python --version 查看是否安装成功
(最好打开环境变量,查看path变量是否已添加python及其scripts路径)
python中scrapy包安装
最懒的方法是命令行一直输入pip install scrapy,报错后pip install 需要的包,直到成功安装scrapy
其中twisted安装方法如下:
下载相应版本(根据python的位数确定位数).whl文件点击打开链接,然后pip install .whl文件的完整路径(如D:\Twisted-17.9.0-cp36-cp36m-win32.whl)
scrapy项目创建
在相应的存储目录下的命令行输入scrapy startproject scrapy项目名
pyCharm下载注册
- 下载pyCharm(professional版)点击打开链接
2.安装(自主选择要安装的目录以及位数)
安装较简单可参考此安装步骤点击打开链接(注册步骤已不可用)
3.注册pyCharm(2017.3.3版)(参考点击打开链接)
根据系统下载相应位数的反代工具点击打开链接,点击下载工具运行后开始正式激活
选择License server ,输入http://127.0.0.1:8888
pyCharm运行scrapy项目
打开之前创建在相应存储目录的scrapy项目
省略scrapy项目的编程部分
配置pycharm的编译器
file->setting->project->project interpreter
右上方project interpreter 选择show all 之后+ add local....
完成后可通过在项目目录的命令行执行 scrapy crawl spider名 运行spider
补充:也可创建begin文件run运行spider
begin.py 位置及内容
run->edit configuratons...->python下+(创建新run)。对应修改name(随意),script path(begin.py路径),python interpreter。
之后直接run begin.py也可执行