操作文档
Aaron_Plus
技术向善
展开
-
使用Java快速开发一个新闻爬虫项目
一、项目简介其实使用Java开发一个爬虫项目并没有想象中那么难,流行的SpringBoot快速构建项目,还有现成的WebMagic之类的爬虫框架,实现简单的新闻爬虫项目还是很容易的。由于想要做一些热点分析的项目,写了个新闻爬虫项目。由于我需要的是历史的新闻数据,对实时性要求不高,所以每30分钟爬取一次新闻数据,并将数据保存在MongoDB中。目前支持爬取的新闻网站:腾讯新闻 凤凰资讯项目代码:https://github.com/Laichj/box-spider(随手给星的都是长得帅.原创 2020-11-28 00:12:07 · 2171 阅读 · 0 评论 -
【操作文档】Presto服务安装
1 环境准备JDK1.8Python 2.4+2 下载Presto安装包下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.216/3 安装Presto3.1 解压缩tar -zxvf presto-server-0.216.tar.gz -C /opt/module/mv presto-server-0.216/ presto3.2 配置JAVA_HOME和PATH(如果系统已配置,可以忽略)原创 2020-11-24 18:40:27 · 773 阅读 · 0 评论