Scrapy项目实践步骤(1/4)_Linux环境

PyCharm的安装

pycharm的免费版不能用于连接数据库的操作，付费版又感觉哪里怪怪的，我们该怎么办呢？
https://blog.csdn.net/pdcfighting/article/details/80297499
https://www.runoob.com/w3cnote/pycharm-windows-install.html
日后仔细阅读这两篇文章，然后实践总结出一套即免费又强大的安装和配置方法。
当然，Linux上的安装要首先尝试

---

接下来的说明，全部为Linux系统下的步骤。

启动一个项目：

scrapy startproject XXX(项目名称)
生成的 scrapy.cfg 中一个是 settings 文件地址，一个是 deploy 文件地址。
deploy 定义部署信息，搭建了scrapy项目后，在这里进行监控。
Settings文件中的一些修改：
ROBOTSTXT_OBEY = True -----> False
CONCURRENT_REQUESTS # 并发量，默认为16个
DOWNLOAD_DELAY # 下载延迟，3秒会很慢，一般设置为0.5秒
CONCURRENT_REQUESTS_PER_DOMAIN / IP # 保持默认值即可
COOKIES_ENABLED = False # 如果出现需要登陆的情况，则需要True

---

生成xpath和正则表达式的文件创建
首先进入项目目录，然后
scrapy genspider xxx 域名
然后再PyCharm中进行一下同步，Right-Click -> Deplyment -> Download from xxx