centos下部署pyspider(精简版)

centos7部署pyspider

一、 安装依赖

      yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

二、脚本安装和升级pip(已安装pip可忽略)

      运行以下命令 (需要管理员权限):
        wget https://bootstrap.pypa.io/get-pip.py
		$ python get-pip.py
		$ pip -V  #查看pip版本

三 、pip安装pyspider

	   pip install pyspider
	   
	   Error: You should consider upgrading via the 'pip install --upgrade pip' command.
	          pip install --upgrade pip  #升级pip即可
	   Error: Command "python setup.py egg_info" failed with error code 1 in
	          pip3 install pyspider   #python2.7以下无pycul
   	   Error:ImportError: pycurl: libcurl link-time version (7.19.7) is older than compile-time version (7.43.0)
   	          移步:https://my.oschina.net/crazyharry/blog/341718
	   可以安装最新pyspider:
	   https://github.com/binux/pyspider

四 、安装mysql-connector、redis、pymongo、six

	   pip install mysql-connector
	   pip install redis
	   pip install pymongo
	   pip install six

五 、编辑pyspider 启动文件

	  本文以mongo为例,数据库并非本地服务,config.json为pyspider的启动文件,配置自定
	  义数据库,webui为页面登录验证。
      {
        "taskdb": "mongodb+taskdb://192.168.2.68:27017/pyspider_taskdb",
        "projectdb": "mongodb+projectdb://192.168.2.68:27017/pyspider_projectdb",
        "resultdb": "mongodb+resultdb://192.168.2.68:27017/pyspider_resultdb",
        "message_queue": "redis://192.168.2.100:6379/0",
        "webui": {
        "username": "username",
        "password": "password",
        "need-auth": true,
        "port": 5000
        	}
		}

六 、启动 pyspider配置文件

      pyspider -c /etc/pyspider/config.json      #默认启动所有组件
      /usr/lib/python2.7/site-packages/pyspider  #源码路径
     											 #也可以设置环境变量
      vim .bashrc
      alias py='pyspider -c /etc/pyspider/config.json'
      source ~/.bashrc
      #退出保存后执行 source ~/.bashrc 使刚才的配置永久生效了。

七 、尽情的爬取

      http://192.168.2.68:5000  #结果默认返回config.json配置的数据库
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值