- 博客(4)
- 收藏
- 关注
RSS订阅原创 提升Hbase读写性能的几个建议
在运维hbase时，目前我们最为关注的主要是三大方面的状况：Cluster load；读写；磁盘空间。Cluster load集群的load状况直接反映了集群的健康程度，load状况的获取非常容易，直接部署ganglia即可得到，由于hbase以优秀的可伸缩性著称，因此多数情况下load超出接受范围时加机器是一个不错的解决方法，当然，这还和系统的设计和使用hbase的方式有关。如有出现个别机器load比较高的现象，通常是由于集群使用的不均衡造成，需要进行一定的处理，这个放到读写部分再说吧。
2020-12-17 16:41:08
322
原创 kafka高性能背后的优秀设计
这里写自定义目录标题kafka高性能架构鉴赏服务端请求处理顺序处理请求（方案一）异步处理（方案二）高性能高并发功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入kafka高性能架构鉴赏服务端请求处理顺序处理请求（方案一）whi
2020-12-16 13:48:34
159
1
原创 sparkMllib协同过滤推荐算法
协同过滤推荐算法，是最经典、最常用的推荐算法。通过分析用户兴趣，在用户群中找到指定用户的相似用户，综合这些相似用户对某一信息的评价，形成系统关于该指定用户对此信息的喜好程度预测。要实现协同过滤，需要以下几个步骤：1）收集用户偏好；2）找到相似的用户或物品；3）计算推荐。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VpWIHzEJ-1608025968713)(%E6%96%87%E6%A1%A3%EF%BC%9A%20sparkmllib%E5%8D%8F%E5%
2020-12-15 17:59:26
504
原创 Hive优化总结（史上最全）
Hive优化总结hive建表设计层面1.使用分区表优化分区表 是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局数据，使得处理的数据量大大减少，从而提高查询效率。也就是说：当一个 Hive 表的查询大多数情况下，会根据某一个字段进行筛选时，那么非常适合创建为分区表，该字段即为分区字段。使用分桶表优化跟分区的概念很相似，都是把数据分成多个不同的类别，区别就是规则不一样！1、分区：按照
2020-12-14 17:12:28
9458
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人