大JAVA解决方案

数据科学

排序:
默认
按更新时间
按访问量

HBase性能优化方法总结(二):写表操作

HBase性能优化方法总结(二):写表操作 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 2. 写表操作 2.1 多HTable并发...

2018-11-14 16:33:50

阅读数:15

评论数:0

自定义flume的拦截器,提取body中的时间作为header

package com.springboot.MongoDB.flume; import java.nio.charset.Charset; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.ut...

2018-11-13 16:21:40

阅读数:9

评论数:0

Kafka文件的存储机制

Kafka文件的存储机制 同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。 每一个partition目录下的文件被平均切割成大小相等(默认一个文件是500兆,可以手动去设置)的...

2018-11-13 11:44:31

阅读数:24

评论数:0

多路分流技术flume

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf #example.conf: A single-node Flume configuration #Name the components on this a...

2018-11-10 21:12:50

阅读数:24

评论数:0

Flume 分流

Flume - 快速入门 zsdnr0人评论129人阅读2017-05-25 14:47:53 关于Flume,官方定义如下: Apache Flume is a distributed, reliable, and available system for efficiently c...

2018-11-10 20:51:17

阅读数:29

评论数:0

自定拦截器flume

# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/con...

2018-11-10 18:34:05

阅读数:11

评论数:0

kafak 到 hdfs 通过flumes elector.type = replicating 副本发送

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 a1.source.r...

2018-11-10 18:32:57

阅读数:18

评论数:0

Flume HDFS Sink使用及源码分析

Flume HDFS Sink使用及源码分析 HDFS Sink介绍 Flume导入数据HDFS,目前只支持创建序列化(sequence)文件和文本(text)文件。还支持这两个文件的压缩。文件可以根据运行的时间,数据的大小和时间的数量来进行周期性的滚动(关闭当前文件产生新的文件)。也可以根据...

2018-11-06 10:24:27

阅读数:26

评论数:0

Kafka配置说明

rilley   博客园 首页 新随笔 联系 订阅 管理 Kafka配置说明   Broker  Configs     Property Default Description broker.id   每个broker都可以用一个唯一的非负...

2018-10-22 09:12:15

阅读数:32

评论数:0

利用maven-assembly-plugin加载不同环境所需的配置文件及使用场景

博客园 首页 新随笔 联系 管理 订阅 随笔- 31  文章- 0  评论- 3  利用maven-assembly-plugin加载不同环境所需的配置文件及使用场景 背景:   如何加载不同环境的配置文件已经成了势在必行的,我们通常利用profile进行,详情参见我上篇博客 ht...

2018-10-15 11:30:12

阅读数:12

评论数:0

maven 插件配置

标题    <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://m...

2018-09-19 11:43:20

阅读数:19

评论数:0

mongodb监控工具mongostat

  2017年04月28日 16:36:20 神奇时代 阅读数:3421 mongostat是mongodb自带的状态检测工具,在命令行下使用,会间隔固定时间获取mongodb的当前运行状态,并输出。     常用命令格式: mongostat --host 192.168.1.100...

2018-09-13 14:30:37

阅读数:32

评论数:0

vm参数(全) 博客分类:  java_jvm

  http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html   注意:Garbage First (G1)收集器是java6之后加入的。   1 行为参数 选项和默认值 ...

2018-09-11 15:12:41

阅读数:26

评论数:0

hive 之start hiveServer2 ,thriftServer失败

hive 之start hiveServer2 ,thriftServer失败 报错信息如下: ERROR org.apache.hive.service.cli.thrift.ThriftCLIService: [Thread-11]: Error starting HiveServer2:...

2018-09-08 18:08:27

阅读数:18

评论数:0

邮件、短信、微信、电话发送接口

简体中文 v0.2(最新版)简体中文 v0.1English v0.1English v0.2 第 Ⅰ 部分:社区 社区介绍 贡献列表 项目介绍 第 Ⅱ 部分:安装 单机安装 分布式安装 环境准备 Agent Transfer Graph API D...

2018-09-08 18:07:10

阅读数:87

评论数:0

Installing on RPM-based Linux (CentOS, Fedora, OpenSuse, RedHat)¶

Installing on RPM-based Linux (CentOS, Fedora, OpenSuse, RedHat)¶ Description Download Stable for CentOS / Fedora / OpenSuse / Redhat Linux ...

2018-09-06 08:23:30

阅读数:30

评论数:0

grafana plugins 安装

[wangshumin@CentOSNode3 plugins]$ su grafana 密码: su: 鉴定故障 [wangshumin@CentOSNode3 plugins]$ grafana-cli plugins install grafana-piechart-panel instal...

2018-09-06 08:23:09

阅读数:126

评论数:0

安装插件grafana

rwxr-xr-x 6 root root 275 9月   1 21:24 worldping-app [wangshumin@CentOSNode3 plugins]$ sudo grafana-cli plugins install michaeldmoore-annunciator-pan...

2018-09-06 08:22:58

阅读数:187

评论数:0

hive 简单优化

基本语法 基本数据类型 hive支持多种不同长度的整型和浮点型数据,支持布尔型,也支持无长度限制的字符串类型。例如:TINYINT、SMALINT、BOOLEAN、FLOAT、DOUBLE、STRING等基本数据类型。这些基本数据类型和其他sql方言一样,都是保留字。 集合数据类型 ...

2018-09-02 19:06:33

阅读数:15

评论数:0

telegraf 检查配置 和启动

telegraf   -config /etc/telegraf/telegraf.conf  --input-filter cpu:mem:net:disk:swap:diskio:processes:system --output-filter influxdb:kafka config t...

2018-09-02 13:11:38

阅读数:234

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭