pyspider+phantomjs

安装pyspider包

• pip install pyspider

配置文件编辑

• config.json
  官方建议以配置文件的方式运行,当然也可以 通过命令行的方式来运行，具体查看 pyspider --help公共参数 或者 pyspider webui --help查看指定组件的参数

• 配置文件格式

  {
  "taskdb": "mysql+taskdb://username:password@host:port/taskdb",
  "projectdb": "mysql+projectdb://username:password@host:port/projectdb",
  "resultdb": "mysql+resultdb://username:password@host:port/resultdb",
  "message_queue": "amqp://username:password@host:port/%2F",
  "webui": {
  "username": "some_name",
  "password": "some_passwd",
  "need-auth": true
  }
  }
  

  taskdb, projectdb, resultdb

wsgiDAV 3.0.3
Werkzerg 0.14.1

问题收集

• TypeError: initialize() got an unexpected keyword argument ‘io_loop’
  原因：python环境中，默认tornado版本是最新的5.0，在4.0之后就废弃了io_loop参数。

  解决方法：

    1、pip uninstall tornado
  
    2、pip install tornado==4.1
  

• Deprecated option ‘domaincontroller’: use ‘http_authenticator.domain_controller’ instead.

  把 ‘domaincontroller’: NeedAuthController(app), 修改为：

  ‘http_authenticator’:{
  ‘HTTPAuthenticator’:NeedAuthController(app),

• ImportError: cannot import name ‘DispatcherMiddleware’

  #卸载
  python -m pip uninstall werkzeug
  #安装指定版本
  python -m pip install werkzeug==0.16.0

• /usr/lib/python2.7/site-packages/pyquery/pyquery.py 进行了降级 1.4.1

• /usr/lib/python2.7/site-packages/pyspider/database/sqlite/sqlitebase.py 加打印看了下 用的相对路径

---

安装phantomjs

安装包版本 phantomjs-2.1.0-linux-x86_64.tar

• 包
  百度云链接
  提取码：6666