![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
文章平均质量分 71
sunjiangangok
这个作者很懒,什么都没留下…
展开
-
浅谈Kafka快速读写机制
消息队列在多种场景中,都有使用,比如异步处理、应用解耦、流量削锋和消息通讯。在日志处理中,利用Kafka可以解决大量日志传输、缓存等问题。Kafka优势分布式:Broker、Producer、Consumer都原生自动支持分布式,自动实现负载均衡 存储时间久 吞吐量高结合实际,本文重点谈谈Kafka是通过什么机制来实现快速读写。顺序I/O随机存取一般使用RAM作为数据存储,但...原创 2019-12-02 18:32:24 · 699 阅读 · 0 评论 -
验证Zookeeper不可用情况下,对HDFS读写功能无影响
验证目标:确认ZK服务不可用情况下,HDFS读写功能是否受影响验证结论:ZK不可用情况下,HDFS读写功能不受影响验证方法:停ZK服务前,验证HDFS读写 停ZK服务后,验证HDFS读写 验证环境ZK实例:10.237.54.23910.237.49.2310.237.49.14810.237.54.24410.237.49.121 Nameno...原创 2019-01-22 11:59:07 · 432 阅读 · 0 评论 -
你与Kafka监控进阶,只差一个“视角”的距离
原创Kafka,作为分布式高吞吐发布订阅的消息系统,广泛应用于消息队列、大数据流计算分析等场景。本文介绍了Kafka系统监控方案,以及站在用户视角阐述如何监控好Kafka实际产品。enjoy: Kakfa监控实践 监控工具选择 实际使用中对比了多种Kafka监控工具,最终选择如下几种工具: Kafka Monitor:这是LinkedIn开源的Kafka核心功能...原创 2018-11-08 21:07:27 · 403 阅读 · 0 评论 -
Hadoop 节点标签
节点标签https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/NodeLabel.html 概览节点标签:将具有相同特征的一组节点标记为相同,并打标签,程序可以运行在指定标签的节点上。当前只支持节点分区(node partition,可以理解为组):1)一个节点只能属于一个分区,这样一个集群被分...原创 2018-11-11 16:38:10 · 979 阅读 · 0 评论 -
大数据相关组件问题
1,Kafka是如何提高存储效率?https://blog.csdn.net/unionibm/article/details/540902352,原创 2018-11-09 09:40:36 · 265 阅读 · 0 评论 -
hadoop修改hostname配置为IP配置
为什么需要host配置?涉及host的配置有哪些?原创 2018-05-29 20:44:57 · 9001 阅读 · 0 评论 -
记ES数据盘故障造成集群不可用
故障现象Pending tasks任务一直有堆积,线上createindex等无法完成或创建时间较长。原因分析Data node某数据盘故障,创建索引时,master无法完成分片分配,导致任务阻塞,影响后续创建索引等任务。原因理解重新梳理看到的现象:1, create index较慢或者或出现失败2, pending task有任务堆积3, GET /_cat/nodes返回500根据pendin...原创 2018-05-24 21:45:33 · 1914 阅读 · 0 评论 -
kafka一份配置&说明
## 配置参考:https://blog.csdn.net/vegetable_bird_001/article/details/51858915## 官方说明:https://kafka.apache.org/documentation/## broker.id可以自动获取,但避免扩容、下线导致部分id出现重复,因此手工指定broker.id=__BROKER_ID__## 是否通过管理...原创 2018-06-11 20:45:53 · 726 阅读 · 0 评论 -
记Elasticsearch 因不合理创建type导致集群故障
https://blog.csdn.net/napoay/article/details/73100110?locationNum=9&fps=1https://blog.csdn.net/lvhong84/article/details/23936697http://blog.pengqiuyuan.com/ji-chu-jie-shao-ji-suo-yin-yuan-li-fen-x...原创 2018-05-23 18:03:40 · 2062 阅读 · 0 评论 -
Elasticsearch 故障场景 & 分析处理
机器故障流量增加create_field原创 2018-05-22 11:09:19 · 878 阅读 · 0 评论 -
一份Elasticsearch 5.6.4配置与详解(实际已经验证)
# 参考资料# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-http.html# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-gateway.html# https://blog.csdn.net/u01245032...原创 2018-05-09 23:51:41 · 2024 阅读 · 1 评论 -
将博客搬至CSDN
将博客搬至CSDN由于chinaunix体验太差,搬迁博客到csdn。 管理员在2009年8月13日编辑了该文章文章。 --> --> window._bd_share_config={"comm原创 2017-04-10 10:47:42 · 488 阅读 · 0 评论 -
linux ssd 优化
一、修改默认的固态硬盘(SSD)柱面大小 提升Linux下固态硬盘的使用率,在安装Linux操作系统前就应该做相关工作。系统会先在磁盘上创建分区,通常创建的分区包含固定数量的柱面,而默认情况下,每个柱面由16065512个字节的扇区组成。 现在的问题是,当默认柱面空间大小被完全使用后,固态硬盘就不能发挥最佳性能。因为要固态硬盘读这个操作需要使用4KB的字节块,而原创 2017-04-10 10:47:25 · 1237 阅读 · 0 评论 -
弹性云项目面试Q&A
由于自己的简历上写了“类似与EC2的弹性云平台”项目,所以每次面试的时候,这个项目一般是必问的。经过这么多次的面试,有些面试官问的问题和前面问的是重复的,不过总体来说,他们的问题都主要集中在下面我所总结的9个问题当中。把这个项目的问题小结一下,一是很大家一起分享,二是防止下次面试的时候,相同问题又出来。1.简单说一下你所做的这个项目,以及你在这个项目当中担任的角色和主要任务。 解:对于这个问原创 2017-04-10 10:34:05 · 977 阅读 · 0 评论 -
erl node启动方法
转载地址:http://www.iteye.com/topic/321933erl node启动方法short name:erl -sname Nameerl -sname Name@ShortHostlongname:erl -name Nameerl -name Name@ShortHosterl -name Name@FullHost说明:Name :: atom() || string()原创 2017-04-10 10:29:41 · 419 阅读 · 0 评论