汽车之家 php,python 实现汽车之家车型数据爬虫 | Windows | 传承者_阿黑颜,编程词典,路由器,系统,游戏心得,游戏攻略,资讯,交易所,Photoshop,ps,cms,wordp...

爬虫保存数据库的样子:

详细数据在json_text字段里面

安装使用方法：

gitclonehttps://github.com/shancang/spider.git

pipinstall-rrequirements.txt

mysqlspider修改配置spider/config.py#-*-coding:utf-8

#日志—————————————-

#日志目录

LOG_DIR=”/tmp/spider”

#日志级别：debug,info,warning,error,critical

LOG_LEVEL=”info”

#process———————————–

#pid文件

PID_FILE=”/tmp/spider/spider.pid”

#线程数量

THARED_NUMBER=6

#数据库————————————

DB_USER=”spider”

PASSWORD=”123456″

DB_HOST=”localhost”

PORT=”3306″

DB_NAME=”spider”进程管理pythonsetup.pystart#启动

pythonsetup.pystop#停止

pythonsetup.pystatus#查看运行状态