大数据那点事
架构技术专栏
知识改变命运,梦想创造未来
展开
-
Ambari HDP集群搭建全攻略
世界上最快的捷径,就是脚踏实地,本文已收录【架构技术专栏】关注这个喜欢分享的地方。最近因为工作上需要重新用Ambari搭了一套Hadoop集群,就把搭建的过程记录了下来,也希望给有同样需求的小伙伴们一个参考,作者:图头数据Ambari Ubuntu14.04 最新版本 2.2.1HDP Ubuntu14.04 最新版本 2.4.3.0Ambari是什么Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大.原创 2020-12-08 10:22:46 · 1611 阅读 · 0 评论 -
flume+es+kibana日志系统
上个公司做了个日志系统,其实之间断断续续搞了三套方案,一套就是前边说的hadoop方案,网上也有但是不全,自己搞了下发现太庞大不适合小型项目,这次搞了flume+ES+kibana方案,感觉非常不错哦,es的存储性能很高啊,kibana其实后期可以自己改的也非常不错。自己写了份文档,在这给大家分享下。(其实后来又搞了个logstash+redis的方案也是很不错,解决了延迟等问题,因为他们都是自己原创 2015-08-03 13:55:43 · 13380 阅读 · 0 评论 -
Hive mac 客户端工具DbVisualizer配置
1、下载连接Hive的GUI SQL工具下载地址:https://www.dbvis.com/download/10.0需要jar hive-jdbc-uber-2.4.0.0-169.jar (https://github.com/timveil/hive-jdbc-uber-jar/releases?after=v1.0-2.4.2)用命令行在hiv...原创 2018-07-12 14:48:39 · 2503 阅读 · 0 评论 -
ELK esrally 压测工具安装使用
ES 是近乎线性扩展的分布式系统,所以可以总结成同一个测试模式:1.使用和线上集群相同硬件配置的服务器搭建一个单节点集群。2.使用和线上集群相同的映射创建一个 0 副本,1 分片的测试索引。3.使用和线上集群相同的数据写入进行压测。4.观察写入性能,或者运行查询请求观察搜索聚合性能。5.持续压测数小时,使用监控系统记录 eps、requesttime、fielddata cache、GC...原创 2019-06-26 10:07:02 · 2057 阅读 · 0 评论