一、前提准备
这里将以IDEA作为开发软件,首先我们得创建一个maven项目(如何创建maven请自行百度), 配置我们的scala环境,File -> Project Structure -> Global Libraries -> 选择“加号” -> Scala SDK(前提要安装scala插件) -> Browse -> 选择安装的scala目录即可
二、使用步骤
2.1 添加flink依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.12.0</version>
</dependency>
2.2 批处理
实现代码
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._
object WorldCount {
def main(args: Array[String]): Unit = {
// 创建一个批处理的执行环境
val env = ExecutionEnvironment.getExecutionEnvironment
// 读取数据并转换
val resultDataSet = env.readTextFile("/opt/words.txt")
.flatMap(_.split(" "))
.map((_, 1))
.groupBy(0)
.sum(1)
// 打印结果
resultDataSet.print()
}
}
错误一:could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInfomation[String]
解决办法:这是因为没有导入隐士转换导致的,在代码中导入隐士转换
import org.apache.flink.api.scala._
错误二:Exception in thread “main” java.lang.IllegalStateException: No ExecutorFactory found to execute the application
解决办法:这是因为缺少依赖导致的,在pom.xml中添加如下依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.12.0</version>
</dependency>
2.3 流处理
实现代码
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._
object StreamWorldCount {
def main(args: Array[String]): Unit = {
// 创建一个流处理的执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
// 获取数据并进行转换
val resultDataStream = env.socketTextStream("localhost", 9999)
.flatMap(_.split(" "))
.map((_, 1))
.keyBy(0)
.sum(1)
// 打印结果
resultDataStream.print()
// 启动执行
env.execute()
}
}
如何测试呢,这里我们要用到一个命令工具(nc), 这个工具非常好用,
$ nc -lk 9999
执行完上面的命令后,运行代码程序,然后在命令行窗口输入单词
三、总结
以上就是今天要讲的内容,学习大数据任何一门技术,基本是从本World Count开始的,他的重要性相当于学习任何一门语言的Hello World, 当然本文仅仅简单介绍了flink编程使用,偏重实践