scrapy
迷途无归
风险》资本》劳动
展开
-
scrapy 分布式 redis增设密码
redis分布式爬虫 在原有基础上redis 增设密码,需要进行一定的设置1、settings.pyREDIS_HOST = '172.16.1.101'REDIS_PORT = 6379REDIS_PARAMS = {'password': 'wR2E&EblAbKNq1Ub',}2、起始url设置:run_scrapy_redis_start_url.sh#!/bin/bashsource /etc/profileredis-cli -a 'wR2E&EblAbK原创 2020-12-31 16:10:38 · 344 阅读 · 0 评论 -
scrapy 常用又常被忽略的库
1、浏览器动态渲染:splash 注:效果类似于seleium配合chrome原创 2019-02-18 14:45:31 · 366 阅读 · 0 评论 -
linux redis 完整安装过程
一、安装流程功能:系统重启后,能够自动启动redis服务[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$mkdir redis[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$cd redis/[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0...原创 2019-08-30 20:44:24 · 291 阅读 · 1 评论 -
linux anaconda安装和环境配置
anaconda过程1、获取anaconda包并执行安装wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.shsh Anaconda3-2019.07-Linux-x86_64.sh2、添加环境并激活sudo vi /etc/profilesource /etc/profilesud...原创 2019-09-02 19:57:52 · 2292 阅读 · 0 评论 -
scrapy 单机版 到 scrapy 分布式 修改流程
1、设备scrapy 单机版:1台机器scrapy 分布式:至少2台机器2、linux环境配置2.1 redis安装具体见:linux redis 完整安装过程2.2 python环境安装借助anaconda管理python具体见:linux anaconda安装和环境配置3、代码修改3.1 setting.py修改在setting中添加如下代码DUPEFILTER_CL...原创 2019-09-04 20:03:19 · 423 阅读 · 2 评论