- 博客(15)
- 资源 (24)
- 问答 (1)
- 收藏
- 关注
原创 精益数据分析-指标
"精益"是很好的创业方法,"数据分析法"则保证数据的收集与分析。二者均可从根本上改变你对企业开创与发展的看法。它们不仅仅是一种方法,还是一种思维模式。精益分析思想指提出正确问题,并重点关注那项可达成你期望结果的关键指标。 一.好的指标定义有比较性 简单易懂 比率 会改变行为:随着指标变化,你是否会采取相应的措施? 二.正确指标1.定性指标与量化指标 2.虚荣指标...
2018-05-28 17:31:41 1345
原创 精益数据分析-指标_李孟_新浪博客
"精益"是很好的创业方法,"数据分析法"则保证数据的收集与分析。二者均可从根本上改变你对企业开创与发展的看法。它们不仅仅是一种方法,还是一种思维模式。精益分析思想指提出正确问题,并重点关注那项可达成你期望结果的关键指标。一.好的指标定义有比较性简单易懂比率会改变行为:随着指标变化,你是否会采取相应的措施?二.正确指标1.定性指标与量化指标2.虚荣指标与...
2018-05-28 17:31:41 721
原创 Hbase原理系列--架构
体系图:一.写流程1.client向hregionserver发送写请求。2.hregionserver将数据写到hlog(write ahead log)。为了数据的持久化和恢复。3.hregionserver将数据写到内存(memstore)4.反馈client写成功。二.数据flush过程1.当memstore数据达到阈值(默认是128M),将数据刷...
2018-05-12 20:30:26 849
原创 Hbase原理系列--架构_李孟_新浪博客
体系图:一.写流程1.client向hregionserver发送写请求。2.hregionserver将数据写到hlog(writeahead log)。为了数据的持久化和恢复。3.hregionserver将数据写到内存(memstore)4.反馈client写成功。二.数据flush过程1.当memstore数据达到阈值(默认是128M),将数据刷到硬盘,将...
2018-05-12 20:30:26 238
原创 Hbase原理系列--成员
安装url:hbase集群部署一.简介HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现,但是也有很多不同之...
2018-05-12 18:46:46 1007
原创 Hbase原理系列--成员_李孟_新浪博客
安装url:hbase集群部署一.简介HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE是GoogleBigtable的开源实现,但是也有很多不同之处...
2018-05-12 18:46:46 246
原创 kafka系列--消费
public String title; public ConsumerRecords<byte[], byte[]> records; public KafkaConsumerSimple(String title, ConsumerRecords<byte[], byte[]> records) { this....
2018-05-06 18:42:11 1181
原创 kafka系列--结构02
承接url:kafka系列--结构01每个partition的数据如何保存到硬盘:相等于一个巨型文件,被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file 消息数量不一定相等,这种特性方便old segment file 快速删除。默认保留7天数据。Log.retention.hours=168 //segment文件保留的最长时间,超时将被删除。...
2018-05-06 16:21:16 612
原创 kafka系列--结构02_李孟_新浪博客
承接url:kafka系列--结构01每个partition的数据如何保存到硬盘:相等于一个巨型文件,被平均分配到多个大小相等segment(段)数据文件中。但每个段segmentfile 消息数量不一定相等,这种特性方便old segment file 快速删除。默认保留7天数据。Log.retention.hours=168//segment文件保留的最长时间,超时将被删除。...
2018-05-06 16:21:16 517
原创 kafka系列--结构01
整体结构:1.Producer :消息生产者,就是向kafka broker发消息的客户端。2.Consumer :消息消费者,向kafka broker取消息的客户端3.Topic :可以理解为一个队列。4.Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个topi...
2018-05-05 20:15:28 648
原创 kafka系列--结构01_李孟_新浪博客
整体结构:1.Producer :消息生产者,就是向kafkabroker发消息的客户端。2.Consumer :消息消费者,向kafkabroker取消息的客户端3.Topic:可以理解为一个队列。4.Consumer Group(CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个topi...
2018-05-05 20:15:28 585
原创 kafka系列--简介
Kafka简介:1.Apache Kafka是一个开源消息系统,由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2. Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3. Kafka是一个分布式消息队列:生产者、消费者的功能。它提...
2018-05-05 20:10:36 981
原创 kafka系列--简介_李孟_新浪博客
Kafka简介:1.ApacheKafka是一个开源消息系统,由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2.Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从ApacheIncubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3.Kafka是一个分布式消息队列:生产者、消费者的功能。它...
2018-05-05 20:10:36 254
原创 kafka系列--安装
安装jdk略,zookeeper略创建消息持久化目录/mnt/hadoop/kafka/kafkaLogs下载kafkawget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgztar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop修改配置confi...
2018-05-05 18:55:06 1031
原创 kafka系列--生产者
消费生产者样例,kafka用的版本:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.10.2.1</v...
2018-05-05 17:57:59 1181
hadoop-2.6.1.zip
2020-06-16
plsql developer 11.zip
2019-07-22
《Spark GraphX实战》_时金魁.pdf
2019-06-30
自定义rpc框架
2018-09-29
大数据时代总结
2018-08-05
数学分析三大基本思想之分解
2018-08-05
数学分析三大基本思想之逼近
2018-08-05
js通用方法
2018-04-01
redis详细笔记
2016-10-04
推荐:数据中台-协作流程
2021-08-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人