Spark流和Twitter情感分析

这篇博客文章是我努力向同事展示如何通过使用Apache Spark的流功能和简洁的API获得所需见解的结果。 在此博客文章中，您将学习如何进行一些简单但非常有趣的分析，这些分析将通过分析社交网络的特定区域来帮助您解决实际问题。

在本演示中，使用Twitter流的子集是完美的选择，因为它具有我们所需的一切：无穷无尽的连续数据源，可供探索。

火花流最小化

在此处以及电子书“ Apache Spark入门”的第6章中对Spark Streaming进行了很好的解释，因此，我们将跳过有关Streaming API的一些详细信息，然后继续设置我们的应用程序。

设置我们的应用

让我们先看看如何准备我们的应用程序，然后再进行其他操作。

val config = new SparkConf().setAppName("twitter-stream-sentiment")
val sc = new SparkContext(config)
sc.setLogLevel("WARN")

val ssc = new StreamingContext(sc, Seconds(5))

System.setProperty("twitter4j.oauth.consumerKey", "consumerKey")
System.setProperty("twitter4j.oauth.consumerSecret", "consumerSecret")
System.setProperty("twitter4j.oauth.accessToken", accessToken)
System.setProperty("twitter4j.oauth.accessTokenSe