基于评论、新闻的情感倾向分析作商品的价格预测

实验环境

 ●  操作系统：Windows、Linux
 ●  语言环境：Python、MATLAB、java
 ●  实验工具：NLTK、sklearn、MATLAB2015b、Pycharm

 ●  服务器： tomcat

用开源框架Scrapy分析Xpath路径抓取中关村报价网站

上述文件中product文件夹是定制好抓取电子产品价格的数据采集器，MySQL建立数据库见文件

应用scrapy爬虫框架，定制爬虫抓取中关村报价产品的价格数据并且存储于MySQL数据库中

1.其中的过程是分析网页的Xpath路径，根据要获取的数据的路径定位到价格数据（可以分析不同的网站数据抓取）

2.存储数据打MySQL数据库中，主要是方便操作和使用

scrapy startproject tutorial

爬虫名字可以随意设定，同时设定采集器在服务器上能够定时采集数据这里定制bat文件。 锁定域名范围为：zol.com分析URL中正则表达式如下：http://detail.zol.com.cn/cell_phone/index****.shtml

最后将采集到的数据存储到MySQL数据库中如下图：

如果是在Linux服务器上做该定时任务只需要按照需要编写crontab即可。

原文链接