本帖最后由 wushaominkk 于 2018-3-20 10:40 编辑
一般我们爬虫都是采用Python,自己闲的无聊就有Java编写一个简单的网易云音乐评论的抓取,这个仅仅是我开发的一个小小调试模块~目前数据保存在Mysql数据库中,后期考虑直接对接Hive存放到Hadoop采用Spark做数据分析~采用angel做机器模型训练,各位不要往死里玩哈~我还想做毕业设计呢~
下面是数据库的脚本
[SQL] 纯文本查看 复制代码/*
SQLyog v10.2
MySQL - 5.5.36 : Database - wangyi
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;
/*!40101 SET SQL_MODE=''*/;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_A