python爬取数据情感分析_GitHub - RvenLiu/WeiboSpider_SentimentAnalysis: 借助Python抓取微博数据，并对抓取的数据进行情绪分析...

微博用户的行为与情感分析

借助Python抓取微博数据，并对抓取的数据进行情绪分析

第一部分：微博数据抓取

(一)利用高级搜索抓取指定微博

本部分请参考文件夹WeiboSpider中的内容

1.安装依赖：

mongodb

phantomjs

redis

requirements.txt

(安装好mongodb之后需要新建数据库sina)

2.构建账号池

购买微博小号，购买链接http://www.xiaohao.shop/

将账号密码复制到 WeiboSpider/sina/account_build/account.txt\

运行 WeiboSpider/sina/account_build/login.py

运行成功会显示cookie创建成功

3.自定义检索条件

修改 WeiboSpider/sina/redis_init.py 中的日期，关键词，运行该文件进行微博检索

(本项目默认抓取热门微博，如需更改可将url中的sort设置为time)

4.开始爬虫

运行 WeiboSpider/sina/spider/weibo_spider.py 抓取目标数据

建议采取多线程同时抓取，提高速度

Mac用户在命令行中输入 scrapy crawl weibo_spider

Windows用户在命令行中输入 scrapy runspider weibo_spider.py

5.检查抓取的数据

数据会存储在sina database中，collect