- 博客(8)
- 资源 (15)
- 收藏
- 关注
RSS订阅转载 kafka 高吞吐量性能揭秘
kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词：1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Br
2017-03-30 13:42:48
3717
转载 Kafka图文详解
Every write operation goes to all replicas, but only responsesfrom a majority quorum are necessary to commit the write.每一次写操作都分发到所有副本,只有大部分节点应答才能提交写缺点:随着副本数的增加,集群中需要ack的节点数量比较多(n/2-1)存储元数据,数据量
2017-03-28 14:50:42
465
转载 删除Kafka中的topic方法
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】
2017-03-27 09:53:18
1405
转载 Yarn 调度器Scheduler配置详解
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三
2017-03-07 21:10:10
1074
原创 pip 配置python国内镜像源
1.虽然用easy_install和pip来安装第三方库很方便 它们的原理其实就是从Python的官方源https://pypi.python.org/pypi 下载到本地，然后解包安装。 不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。2.常见国内镜像源https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs
2017-03-06 17:52:41
866
原创 Windows安装TensorFlow 0.12 最便捷方案
环境是win7 64Conda --version Anaconda 64 4.3.13 1. 新建一个python 3.5 版本 conda create -n tensorflow python=3.52. Activate tensorflow3. pip install tensorflow4. 如何进入Python命令行，使用tf呢4.1 ac
2017-03-05 14:24:58
850
转载 Anaconda多环境多版本python配置指导
Anaconda多环境多版本python配置指导 最近学python，读完了语法后在GitHub找了一些练习来做，由于学的是python3.x语法，而GitHub上的好多练习源码都是基于2.x的，有些module在python3.x上没有，因此为装这些包折腾了好久，浪费了好些时间，这两天才发现Anaconda这个神奇的软件，一些常用的包都打包在里边了。安装完成之后也遇到了不少麻烦，可能是由
2017-03-05 12:59:44
1253
转载 Kylin实践之使用Hive视图
为什么需要使用视图 Kylin在使用的过程中使用Hive作为cube的输入，但是有些情况下，hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至有时候在创建hive表时为了图方便，hive中的所有列都被定义成了string，因此很多情况下在使用Kylin之前需要对hive上的数据格式进行适当的修剪，但是使用alter tab
2017-03-03 11:00:25
578
useragent解析逻辑&手机品牌匹配.txt
2021-11-22
shakespeare.json&logs;.jsonl.gz&accounts;.zip
2018-01-10
kafka-manager 1.3.3.15
2018-01-08
百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全
2017-10-16
数据仓库工具箱 维度建模权威指南 第3版
2017-10-16
IDEA 创建scala工程并打指定的依赖包
2017-08-11
hbase自定义Comparator进行数值比较
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人