爬虫–scrapy
根据豆瓣读书书评绘制评价词云图–三国演义
搭建环境
建议换成国内镜像
豆瓣 https://pypi.douban.com/simple/
阿里云 https://mirrors.aliyun.com/pypi/simple/
清华:https://pypi.tuna.tsinghua.edu.cn/simple
import scrapy
import numpy as np
import matplotlib.pyplot as plt
加载scrapy框架
# terminal 终端实现
cd .. # 跳转到上一层目录
scrapy startproject 当前项目名 # 和项目同名的scrapy框架项目
setting配置
ROBOTSTXT_OBEY = False # 君子协议 false 不遵守
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/85.0.4183.121 Safari