大JAVA解决方案

数据科学

Kafka消费者:从Kafka中读取数据

Kafka消费者:从Kafka中读取数据 2018年08月20日 20:38:07不会推车的娘们阅读数:4200 本系列文章为对《Kafka:The Definitive Guide》的学习整理,希望能够帮助到大家 应用从Kafka中读取数据需要使用KafkaConsumer订阅主题,然...

2019-03-15 15:49:44

阅读数 35

评论数 0

mongodb的存储引擎

mongodb的存储引擎 mongodb版本为3.4 mongodb存储引起的一些概述 存储引擎是MongoDB的核心组件,负责管理数据如何存储在硬盘和内存上。从MongoDB 3.2 版本开始,MongoDB 支持多数据存储引擎,MongoDB支持的存储引擎有:WiredTiger,MMA...

2019-03-14 08:57:10

阅读数 5

评论数 0

OpenTSDB原理系列-数据表设计

OpenTSDB原理系列-数据表设计 2018年03月08日 22:54:23NoSQL漫谈阅读数:984 上一篇文章《OpenTSDB原理系列-元数据模型》讲到了OpenTSDB的基础概念,以及元数据模型,这篇文章介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数...

2019-03-13 13:16:49

阅读数 5

评论数 0

openTSDB源码详解之rowKey生成

2018年11月13日 17:00:27LittleLawson阅读数:60更多 所属专栏:openTSDB实战 版权声明:如若转载,请联系作者。 https://blog.csdn.net/liu16659/article/details/84031862 openTSDB源码详解之row...

2019-03-12 16:26:43

阅读数 20

评论数 0

OpenTSDB 底层 HBase 的 Rowkey 是如何设计的

OpenTSDB 底层 HBase 的 Rowkey 是如何设计的 2018年11月16日 08:18:53Hadoop技术博文阅读数:193 在https://www.iteblog.com/archives/2450.html文章中有实际的案例分析 Rowkey 如何设计的,感兴趣的可以点...

2019-03-12 15:11:10

阅读数 28

评论数 0

mongodb数据条目过期设置

mongodb数据条目过期设置 2018年08月01日 19:20:05 秦汉唐天下 阅读数:446 Mongodb自带时间过期删除的机制,其机制主要是使用Time To Live(TTL) 索引实现的 注意:以下集中情况是无法使用TTL索引的 (1)TTL索引是单字段索引,混合索引不支持T...

2019-02-26 13:22:38

阅读数 19

评论数 0

利用Hive进行数据分析

利用Hive进行数据分析 2016年07月06日 21:30:20 wh_springer 阅读数:16516 近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据,利用基于Hadoop的数据仓库解决方案...

2019-02-26 10:04:31

阅读数 23

评论数 0

100万并发连接服务器笔记之Java Netty处理1M连接会怎么样

五 100万并发连接服务器笔记之Java Netty处理1M连接会怎么样 2014年05月21日 14:13:56 mergerly 阅读数:20545 前言 每一种该语言在某些极限情况下的表现一般都不太一样,那么我常用的Java语言,在达到100万个并发连接情况下,会怎么样呢,有些好奇,更...

2019-02-26 09:35:30

阅读数 47

评论数 0

MapReduce shuffle过程剖析及调优

MapReduce shuffle过程剖析及调优 2016年07月18日 01:48:03 Lust-Ring 阅读数:10424 标签: mapreducehadoop 更多 个人分类: Hadoop 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn...

2019-02-25 13:17:01

阅读数 13

评论数 0

Mongodb自动删除过期的数据——TTL索引

Mongodb自动删除过期的数据——TTL索引 2018年11月08日 15:21:31 lead_myLead 阅读数:62 使用spring-data-mongodb 2.0.9中的 Document document = new Document(); document.appen...

2019-02-19 13:33:40

阅读数 58

评论数 0

InfluxDB - 连续查询CQ和保留策略RP

InfluxDB - 连续查询CQ和保留策略RP 2018年11月26日 09:23:08 撸智深 阅读数:176更多 所属专栏: Influxdb时序数据库 保留策略: RP(retention policy)  即数据的过期策略:如 CREATE    RETENTION    POL...

2019-02-16 17:40:56

阅读数 43

评论数 0

一、连续查询语法 influxdb 连续查询

一、连续查询语法 连续查询的语法如下: CREATE CONTINUOUS QUERY <cq_name> ON <database_name> [RESAMPLE [EVERY <...

2019-02-16 17:37:56

阅读数 62

评论数 0

时序数据库 InfluxDB 连接

<dependency>               <groupId>org.influxdb</groupId>               &l...

2019-02-16 14:37:17

阅读数 86

评论数 0

用MapReduce把hdfs数据写入HBase中

  2017年03月01日 09:20:50 技术人的突破 阅读数:4117 1.使用Map+Reduce方式   public class MapReduceImport {   /** * Mapper */ static class ...

2019-02-12 13:31:51

阅读数 50

评论数 0

Hive数据倾斜解决办法总结

Hive数据倾斜解决办法总结 我的知乎:DarrenChan陈驰 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候,如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候,某些...

2019-02-12 12:30:36

阅读数 40

评论数 0

MapReduce中的map与reduce

博客园 首页 新随笔 联系 管理 订阅 随笔- 50  文章- 1  评论- 0  MapReduce中的map与reduce     本文主要介绍MapReduce的map与reduce所包含的各各阶段         MapReduce中的每个map任务可以细...

2019-02-12 09:19:47

阅读数 70

评论数 1

MapReduce概述,原理,执行过程

  MapReduce概述   MapReduce是一种分布式计算模型,运行时不会在一台机器上运行.hadoop是分布式的,它是运行在很多的TaskTracker之上的.   在我们的TaskTracker上面跑的是Map或者是Reduce Task任务.   通常我们在部署hadoop ta...

2019-02-12 08:53:47

阅读数 59

评论数 0

Hive数据倾斜

Hive数据倾斜 map/reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而...

2019-02-12 08:44:21

阅读数 79

评论数 1

Hive + Sqoop + MySQL + Spark

   予早 关注 2018.12.22 17:31* 字数 363 阅读 293评论 0喜欢 0 安装 Hive +Sqoop+MySQL+Spark 先将 system_logs.sql 导入 MySQL,使用 Sqoop 将 MySQL 中的数据导入 Hive 使用 spark 读...

2019-02-11 17:13:07

阅读数 67

评论数 0

深入理解Apache Flink核心技术

深入理解Apache Flink核心技术 Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开...

2019-02-11 13:18:41

阅读数 73

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭