Hash表

哈希表也称散列表,也有直接译作哈希表,Hash表是一种特殊的数据结构,它同数组、链表以及二叉排序树等相比较有很明显的区别,它能够快速定位到想要查找的记录,而不是与表中存在的记录的关键字进行比较来进行查找。这个源于Hash表设计的特殊性,它采用了函数映射的思想将记录的存储位置与记录的关键字关联起来,...

2017-08-26 17:45:00

阅读数:71

评论数:0

在eclipse中修改spark2.1源码

首先声明下 这是我在eoe上转载的 写的很好就摘抄了。。。 第一步 下载源码svn下载,下载地址: spark:http://svn.igniterealtime.org/svn/repos/spark/trunk openfire:http://svn.igniterealtime.org/...

2017-08-24 21:44:47

阅读数:349

评论数:0

Redis 集群的分库和分片

转载:http://lib.csdn.net/article/redis/29336如果再给我一次回到好几年前的机会,对于使用 Redis 我一开始就要好好考虑将来的扩展问题。就像我们做数据库分库分表,一旦决策了分库分表,通常一次就会分到位,比如搞上 8 或 16 个库,每个库再分 256 或 1...

2017-08-23 21:12:07

阅读数:166

评论数:0

kafka+storm整合代码

package com.ljt.stormandkafka.kafkaAndStorm;import org.apache.storm.kafka.KafkaSpout; import org.apache.storm.kafka.SpoutConfig; import org.apache....

2017-08-23 19:45:19

阅读数:590

评论数:0

flume+kafka+storm+hdfs整合

转载:http://blog.csdn.net/zlfing/article/details/77161440基础环境: Redhat 5.5 64位(我这里是三台虚拟机h40,h41,h42) myeclipse 8.5 jdk1.7.0_25 Python-2.7.12 zookee...

2017-08-23 17:21:58

阅读数:148

评论数:0

Flume+kafka 整合

关于Flume 的 一些核心概念:组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据,运行在一个独立的线程。 Source源 从Client收集...

2017-08-23 17:19:41

阅读数:122

评论数:0

Kafka 0.10.1.1 特点

1.Consumer优化:心跳线程可作为后台线程,提交offset,剥离出poll函数问题:0.10新设计的consumer是单线程的,提交offset是在poll中。本次的poll调用,提交上次poll的心跳和offset值。The options for the user at the mom...

2017-08-23 15:03:33

阅读数:114

评论数:0

监控-Kafka Manager

centos7 安装kafka Manager 1.安装sbt编译环境curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repoyum install sbt2.下载kafka-managerh...

2017-08-22 22:06:51

阅读数:1751

评论数:0

Redis基础、应用场景、数据结构及案例

1、Redis概述  Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的应用程序的完美解决方案。  Redis从它的许多竞争继承来的三个主要特点:  Redis数据库完全在内存中,使用磁盘仅用于持久性。  相比许多键值数据存储,Redis...

2017-08-22 20:14:07

阅读数:118

评论数:0

Kafka负载均衡、Kafka自定义Partition、Kafk文件存储机制

1、Kafka整体结构图 Kafka名词解释和工作方式 Producer :消息生产者,就是向kafka broker发消息的客户端。  Consumer :消息消费者,向kafka broker取消息的客户端  Topic :咋们可以理解为一个队列。  Consu...

2017-08-22 17:48:46

阅读数:504

评论数:0

Kafka+Storm+HDFS整合实践

在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理。为了统一离线和实时...

2017-08-22 17:46:17

阅读数:176

评论数:0

Kafka集群安装部署、Kafka生产者、Kafka消费者

概念: Storm上游数据源之Kakfa 1、 kafka是什么? 2、 JMS规范是什么? 3、 为什么需要消息队列? 4、 Kafka核心组件 5、 Kafka安装部署 6、 Kafka生产者Java API 7、 Kafka消费者Java API 1、Kafk...

2017-08-22 17:44:37

阅读数:303

评论数:0

Storm目录树、任务提交、消息容错、通信机制

Storm技术增强 注:学习本课程,请先学习Storm基础 课程目标: 通过本模块的学习,能够掌握Storm底层的通信机制、消息容错机制、storm目录树及任务提交流程。 课程大纲: 1、 Storm程序的并发机制 2、 Storm框架通信机制(worker内部通...

2017-08-20 20:19:01

阅读数:306

评论数:0

Storm架构和编程模型总结

1、编程模型 DataSource:外部数据源 Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个B...

2017-08-20 20:08:41

阅读数:96

评论数:0

CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1

大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1) www.ljt.cosa 192.168.1.11 www.ljt.cos02 192.168.1.12 www.ljt.cos03 192.1...

2017-08-14 20:48:30

阅读数:423

评论数:0

MapReduce中的排序和分组

回顾Map阶段四大步骤  首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行:map stage   从上图中可以清楚地看出,在Step1.4也就是第四步中,需要对不同分区中的数据进行排序和分组,默认情况下,是按照key进行排序和分组。1.2 实验场景数据文件  在一些特定的数...

2017-08-11 15:00:56

阅读数:163

评论数:0

关键路径转化率分析——漏斗模型

6.关键路径转化率分析——漏斗模型 转化:在一条指定的业务流程中,各个步骤的完成人数及相对上一个步骤的百分比 6.1 需求分析 step number rate 1 101110 100% 2 40000 40%...

2017-08-11 11:53:55

阅读数:524

评论数:0

Hive TopN+分组TopN

TopN 可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多 个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些 sort by可以启动多个reduce,每个reduce做局部排序,但是这对于sort...

2017-08-10 21:07:10

阅读数:197

评论数:0

点击流日志分析项目实战开发流程

step-1: 使用flume采集数据到 /flume/events/%y-%m-%d/下面 flume配置 tail-hdfs.conf用tail命令获取数据,下沉到hdfs 启动命令: bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -...

2017-08-10 12:55:26

阅读数:566

评论数:0

hadoop复合键排序使用方法

在Hadoop中处理复杂业务时,需要用到复合键,复合不同于单纯的继承Writable接口,而是继承了WritableComparable接口,而实际上,WritableComparable接口继承了Writable和Comparable接口,如果只需要使用某一个类作为传值对象而不是作为key,继承...

2017-08-10 11:25:30

阅读数:136

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭