qq_41166135的博客

原创 Redis数据库的特点和优点 || Rdis与MongoDB的对比

1.Redis的特点：（1）内存数据库，速度快，也支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。（2）Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。（3）Redis支持数据的备份，即master-slave模式的数据备份。（4）支持事务2.Redis的优势：（1）性能极高 – ...

原创 项目中为什么通常flume和kafka要共同使用

系统架构方面的考虑：（1）如果系统比较简单，应用场景比较单一，从简化系统的角度考虑，在满足应用需求的情况下可能只使用一个比较好。（2）但是考虑到现有系统业务发展，为了后面的灵活扩展，在先用系统设计时留有一定的扩展性感觉更重要，(3)可能使用Flume+kafka架构相对只使用Kafka会多占用1-2台机器做Flume日志采集，但是为了方便以后日志数据处理方式的扩展，可以采用Flume+kaf...

原创 大数据实战项目------中国移动运营分析实时监控平台 || 项目需求实现（文章最后有数据文件）

1.业务概况（显示总订单量、订单成功量、总金额、花费时间）2.业务详细概述（每小时的充值订单量、每小时的充值成功订单量）3.业务质量（每个省份的充值成功订单量）4.实时统计每分钟的充值金额和订单量下面是代码封装的包项目需求实现：1）用flume收集数据，放入到kafka，下面是详细配置。2）用SparkStreaming去消费kafka里面的数据前，做一些Kafka参数的配置以...

原创 大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

中国移动运营分析实时监控平台项目背景中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.为此建设一个能够...

原创 flume学习随笔

原创 redis学习随笔

原创 Kafka原理

1.Kafka的拓扑结构一个典型的 Kafka 集群中包含若干 Producer，若干 broker（Kafka 支持水平扩展， 一般 broker 数量越多，分区越多，集群吞吐率越高），若干 Consumer Group，以及一个 Zookeeper 集群。Kafka 通过 Zookeeper 管理集群配置，选举 leader。Producer 使用 push 模式将消息发布到 broker...

原创 Kafka结构以及各个组件的形象理解以及内部执行机制

1.Apache Kafka 是分布式发布-订阅消息系统（消息中间件），是一种快速、可扩展、分区的和可复制的提交日志服务。2.一个特别好的例子：举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋， 消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生 产鸡蛋，那新生...

原创 SparkStreaming窗口操作经典案例

1.背景描述在社交网络（微博），电子商务（京东）、搜索引擎（百度）、股票交易中人们关心的内容之一是我所关注的内容中，大家正在关注什么在实际企业中非常有价值例如：我们关注过去30分钟大家都在热搜什么？并且每5分钟更新一次。要求列出来搜索前三名的话题内容2.原理图如图所示，每当窗口滑过DStream时，落在窗口内的源RDD被组合并被执行操作以产生windowed DStream的RDD。...

原创 SparkStreaming内部结构以及经典案例与测试工具的使用--------updateSetBykey以及检查点的运用

1.SparkStreaming的内部结构，Spark Streaming将连续的数据流抽象为DStream。在内部，DStream 由一个RDD序列表示，然后将一个个RDD通过SparkEngine处理后输出。-------------------------------开发自己的实时词频统计程序----------------------**特别需要注意的一个是虚拟机的核数最小是2...