爬取即时线报,通过vue.js和axios.js调用fastapi相关数据到html页面进行展示。
效果展示:最新线报
Heroku
- 注册heroku
- 安装heroku cli
mkdir haoyangmao && cd haoyangmao
git init
heroku git:remote -a haoyangmao
线报采集
用python写一个简单的爬虫,大致代码如下,四个目标网站,利用requests+lxml库获取目标网站线报的url和title并写入数据库,如果采集频率比较高的话可以使用代理IP www.xhuosoft.cn,requests.get添加一个proxies就可以。
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
class Spider(object):
def __init__(