2016年5月Confluent官方宣布Apache Kafka 0.10正式发布(里面废弃了receive)-----0.8没有废弃receive
receiver 使用的是老的Api也叫高级的Api,高级Api它使用起来省事,但效率低下,这个偏移量默认是写在zookeeper中的,我们没法手动维护,
direct 一个消费者直接连接到kafka的一个分区上,它是使用kafka更加底层的消费Api,效率高,但这个偏移量就需要你自己维护了,
spark 1.6.2(2016.6.25) ----2.0.1(2016.10.4)
sparkStreaming 2.0.1
kafka 0.10.0.1(2016.8.10)
flume 1.6(2015.5.20)------- 1.7(2016.10.17)有了官方的tailDir
scala 2.10
hbase 0.98.x
hive 1.2
zookeeper 3.4
hadoop 2.7
elasticSearch 2.3
redis 2.9
常见端口汇总:
Hadoop:
50070:HDFS WEB UI端口
8020 : 高可用的HDFS RPC端口
9000 : 非高可用的HDFS RPC端口