Hadoop
黄驼君
DBA 数据仓库 分布式计算
展开
-
Spark Streaming架构
spark streaming是spark 核心API的拓展,是一个实时数据计算工具,具备高吞吐量、容错机制的特点,支持多种数据源获取数据,接受kafka、flume、HDFS等数据源的数据,通过处理之后,存储到HDFS、database等各种地方。streaming和storm之间的区别:1.streaming支持批处理数据、storm对数据一条一条处理,storm的实时性高于streaming2.streaming的吞吐量高于storm3、容错机制不同:storm是acker(ack/fai原创 2020-07-21 12:38:08 · 200 阅读 · 0 评论 -
zookeeper的选举机制
zookeeper的选举机制zxid: • znode节点的状态信息中包含czxid, 那么什么是zxid呢? • ZooKeeper状态的每一次改变, 都对应着一个递增的Transaction id, 该id称为zxid. 由于zxid的递增性质, 如果zxid1小于zxid2, 那么zxid1肯定先于zxid2发生.创建任意节点, 或者更新任意节点的数据, 或者删除任意节点, 都会导致Zookeeper状态发生改变, 从而导致zxid的值增加.(1)cZxid: 是节点的创建时间所对应的Zxi原创 2020-07-21 11:43:33 · 251 阅读 · 0 评论 -
Hadoop Spark HA issue -- java.lang.IllegalArgumentException: java.net.UnknownHostException
Usually, we copy core-site.xml and hdfs-site.xml from ~/hadoop/etc/ folder into ~/spark/conf/. Then sync the files into sub-nodes and restart spark server.It didn’t work.It would return the error me...原创 2019-10-22 14:06:31 · 403 阅读 · 0 评论 -
Hadoop Road Map - 02 - Hadoop Configuration
Please add your comments if any concern about this. Thanks in advance.Configuration of Hadoop in master nodeConfiguration files of Hadoop are under folder $Hadoop_Home/etc/hadoop$ cd etc/hadoop...原创 2019-09-02 14:27:42 · 137 阅读 · 0 评论