![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
qq_33190134
这个作者很懒,什么都没留下…
展开
-
kafka_day03
1. kafka内核原理 1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性,但是能保证数据不丢失吗? 不行,因为如果leader宕机,但是leader的数据还没同步到follower上去,此时即使选举了follower作为新的leader,当时刚才的数据已经丢失了。 ISR是:in-sync replica,就是跟leader partition保持同步的follower partition的数量,只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea原创 2020-09-21 21:26:42 · 211 阅读 · 0 评论 -
集群各组件的开启与关闭
开启 /export/servers/zookeeper-3.4.9/bin/zkServer.sh start 三台 sbin/start-dfs.sh 第一台 sbin/start-yarn.sh 第一台 sbin/mr-jobhistory-daemon.sh start historyserver 第一台 /etc/init.d/mysqld start 开启mysql 第三台 bin/hive --service metastore & /bin/hive 第三台 nohup bin.原创 2020-09-17 19:14:23 · 200 阅读 · 0 评论 -
Impala
1. Impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具, impala是参照谷歌的新三篇论文(Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具)当中的Dremel实现而来,其中旧三篇论文分别是(BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS原创 2020-09-16 18:17:45 · 256 阅读 · 0 评论 -
Azkaban各模式的启动和关闭
solo模式(第三台) bin/start-solo.sh 在/export/servers/azkaban/azkaban-solo-server-0.1.0-SNAPSHOT文件夹里 开启tow-server模式(第二台) bin/start-exec.sh 在/export/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT目录下执行 curl -G “node02:$(<./executor.port)/executor?action=a原创 2020-09-15 16:27:34 · 1814 阅读 · 0 评论