bigdata
文章平均质量分 54
老一阿
努力中
展开
-
Spark集成Redis-操作Redis数据
第一步:添加依赖 <dependency> <groupId>com.redislabs</groupId> <artifactId>spark-redis_2.11</artifactId> <version>2.4.2</version> </dependency>然后导入import com.redislabs.provider.redis._这原创 2021-01-13 19:42:23 · 1226 阅读 · 0 评论 -
java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\te
Exception in thread “main” java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\test1676876159.staging报错信息:log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactor原创 2020-07-22 10:27:11 · 5161 阅读 · 2 评论 -
Flink SQL/Table API 消费Kafka数据并存入MySQL(通过JDBCAppendTableSink方式来实现存入到MySQL)
这种方式实现存到MySQL,需要注意一些问题import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;...原创 2019-06-13 18:42:20 · 5470 阅读 · 6 评论 -
Flink SQL/Table API 消费Kafka的json格式数据存到MySQL--存入MySQL通过继承RichSinkFunction来实现
这几天学习Flink,可以说是很懵,啥资料都很少。遇到程序能运行,但是接收不到Kafka传来的数据,可能是因为版本问题。在更改Kafka版本的时候,最好重新创建topic。废话不多说,下面直接上代码!!!*完整代码package cn.flink;import org.apache.flink.api.common.typeinfo.Types;import org.apache....原创 2019-06-11 15:02:37 · 5904 阅读 · 9 评论 -
Flink------DataStream--wordcount
一个简单的单词计数flink程序。public class SocketWordCount { public static void main(String[] args)throws Exception { // 获取执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironme...原创 2019-08-07 18:04:52 · 592 阅读 · 0 评论