大JAVA解决方案

数据科学

mongodb数据条目过期设置

mongodb数据条目过期设置 2018年08月01日 19:20:05 秦汉唐天下 阅读数:446 Mongodb自带时间过期删除的机制,其机制主要是使用Time To Live(TTL) 索引实现的 注意:以下集中情况是无法使用TTL索引的 (1)TTL索引是单字段索引,混合索引不支持T...

2019-02-26 13:22:38

阅读数 30

评论数 0

利用Hive进行数据分析

利用Hive进行数据分析 2016年07月06日 21:30:20 wh_springer 阅读数:16516 近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据,利用基于Hadoop的数据仓库解决方案...

2019-02-26 10:04:31

阅读数 99

评论数 0

100万并发连接服务器笔记之Java Netty处理1M连接会怎么样

五 100万并发连接服务器笔记之Java Netty处理1M连接会怎么样 2014年05月21日 14:13:56 mergerly 阅读数:20545 前言 每一种该语言在某些极限情况下的表现一般都不太一样,那么我常用的Java语言,在达到100万个并发连接情况下,会怎么样呢,有些好奇,更...

2019-02-26 09:35:30

阅读数 75

评论数 0

MapReduce shuffle过程剖析及调优

MapReduce shuffle过程剖析及调优 2016年07月18日 01:48:03 Lust-Ring 阅读数:10424 标签: mapreducehadoop 更多 个人分类: Hadoop 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn...

2019-02-25 13:17:01

阅读数 25

评论数 0

Mongodb自动删除过期的数据——TTL索引

Mongodb自动删除过期的数据——TTL索引 2018年11月08日 15:21:31 lead_myLead 阅读数:62 使用spring-data-mongodb 2.0.9中的 Document document = new Document(); document.appen...

2019-02-19 13:33:40

阅读数 110

评论数 0

InfluxDB - 连续查询CQ和保留策略RP

InfluxDB - 连续查询CQ和保留策略RP 2018年11月26日 09:23:08 撸智深 阅读数:176更多 所属专栏: Influxdb时序数据库 保留策略: RP(retention policy)  即数据的过期策略:如 CREATE    RETENTION    POL...

2019-02-16 17:40:56

阅读数 80

评论数 0

一、连续查询语法 influxdb 连续查询

一、连续查询语法 连续查询的语法如下: CREATE CONTINUOUS QUERY <cq_name> ON <database_name> [RESAMPLE [EVERY <...

2019-02-16 17:37:56

阅读数 292

评论数 0

时序数据库 InfluxDB 连接

<dependency>               <groupId>org.influxdb</groupId>               &l...

2019-02-16 14:37:17

阅读数 388

评论数 0

用MapReduce把hdfs数据写入HBase中

  2017年03月01日 09:20:50 技术人的突破 阅读数:4117 1.使用Map+Reduce方式   public class MapReduceImport {   /** * Mapper */ static class ...

2019-02-12 13:31:51

阅读数 96

评论数 0

Hive数据倾斜解决办法总结

Hive数据倾斜解决办法总结 我的知乎:DarrenChan陈驰 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候,如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候,某些...

2019-02-12 12:30:36

阅读数 58

评论数 0

MapReduce中的map与reduce

博客园 首页 新随笔 联系 管理 订阅 随笔- 50  文章- 1  评论- 0  MapReduce中的map与reduce     本文主要介绍MapReduce的map与reduce所包含的各各阶段         MapReduce中的每个map任务可以细...

2019-02-12 09:19:47

阅读数 107

评论数 1

MapReduce概述,原理,执行过程

  MapReduce概述   MapReduce是一种分布式计算模型,运行时不会在一台机器上运行.hadoop是分布式的,它是运行在很多的TaskTracker之上的.   在我们的TaskTracker上面跑的是Map或者是Reduce Task任务.   通常我们在部署hadoop ta...

2019-02-12 08:53:47

阅读数 73

评论数 0

Hive数据倾斜

Hive数据倾斜 map/reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而...

2019-02-12 08:44:21

阅读数 91

评论数 1

Hive + Sqoop + MySQL + Spark

   予早 关注 2018.12.22 17:31* 字数 363 阅读 293评论 0喜欢 0 安装 Hive +Sqoop+MySQL+Spark 先将 system_logs.sql 导入 MySQL,使用 Sqoop 将 MySQL 中的数据导入 Hive 使用 spark 读...

2019-02-11 17:13:07

阅读数 158

评论数 0

深入理解Apache Flink核心技术

深入理解Apache Flink核心技术 Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开...

2019-02-11 13:18:41

阅读数 105

评论数 0

Hbase表两种数据备份方法-导入和导出示例

Hbase表两种数据备份方法-导入和导出示例 置顶 2018年05月15日 17:39:46 Data_IT_Farmer 阅读数:1686  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/helloxiaozhe/article/detai...

2019-02-02 14:20:45

阅读数 62

评论数 0

-Kafka、OpenTSDB、Kylin

mmTrix大数据分析平台构建实录 小丁 发布于 2016-03-31   分类:编程技术   阅读(132)   评论(0)     在数据分析中,有超过90%数据都是来自于非结构化数据,其中大部分的是日志,如运维、安全审计、用户访问数据以及业务数据等,但随着互联网快速的发展,...

2019-02-02 13:49:05

阅读数 135

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭