- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase系列篇(一)
HBase是安装在Hadoop之上的 补充说明下Hadoop的HA模式： HA模式相对非HA模式，主要是来防止单点故障的。(如果你不知道什么是Hadoop的HA模式，那么你用的多半是非HA模式) 在Hadoop2.X以后有了Federation NameNode这一说法，实际就是在一个Hadoop集群中存在多个NameNode节点。Hadoop的做法是，同时启动多个namenode节...
2018-07-27 14:19:22
240
原创 java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils 报错
经过2天的挣扎，终于解决了这个问题。 期间也遇到了其他问题，解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对，我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz，对应Scala 2.12,更换了kafka的版本后完美解决 ！！！！！细节很重要！！！！ 最后附上spark-submit提交语句，...
2018-07-26 10:32:53
7650
原创 偷懒系列
JDK <build> <plugins> <plugin> <artifactId> maven-assembly-plugin </artifactId> <configuration> ...
2018-07-25 10:26:59
160
原创 Storm 读取MySQL数据实践
maven依赖包： <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.1</version>
2018-07-18 14:23:16
2100
2
原创 Mysql+Flume+Kafka
需要向/usr/local/bigdata/apache-flume-1.6.0-bin/lib 放入三个jar包 flume-ng-sql-source-1.3.7.jar –&amp;amp;gt;flume的mysql source 下载地址: https://github.com/keedio/flume-ng-sql-source/ mysql-connector-java-5.1.35.jar...
2018-07-11 17:16:06
1646
1
原创 Spark Streaming 输出数据清洗结果到Mysql
Flume+Kafka+Spark Streaming + Mysql package util; import java.awt.List; import java.util.ArrayList; import java.util.HashMap; import java.util.HashSet; import java.util.Map; import java.util.Propert...
2018-07-01 16:50:45
1647
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人