![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
文章平均质量分 87
sparkStreaming和sparkSQL
Ayub
喜欢学习,喜欢交流分享大数据技术。
展开
-
scala版本,spark将HDFS上的数据同步到hbase
1 spark将HDFS上的数据同步到hbase 将hdfs数据转换为hfile, 快速导入hbase 2 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt原创 2022-03-10 22:00:06 · 2248 阅读 · 0 评论 -
StrutsStreaming消费kafka的数据sink全过程
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2020-06-09 22:30:02 · 783 阅读 · 2 评论 -
SparkSteaming整合kafka----采用direct(低级Api)
废话不多说,直接上代码 1、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://ma原创 2020-06-04 20:53:32 · 273 阅读 · 0 评论