自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 kafka一之配置文件说明

broker.id =0 每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况,最大值为255 log.dirs=/data/kafka-logs kafka数据的...

2017-01-17 17:37:47

阅读数 544

评论数 0

翻译 storm七之storm java示例

通过前面6个章节,我们大致了解apache storm的核心细节了,现在我们开始写一些简单的代码,来感受下storm的魅力。 场景——移动呼叫日志分析 移动电话呼叫号及其持续时间将作为Apache stormd的输入流,storm将根据拨号方和接收方之间的电话号码以及通话次数进行分组。      ...

2017-01-16 22:02:16

阅读数 5049

评论数 0

翻译 Storm六之storm安装

我们现在来看看如何在自己的机器上安装storm。 主要分为三步: 1.安装java环境 2.安装zookeeper环境 3.安装storm   步骤1和2省略,不会请自行百度。 下面开始安装storm的步骤(此时java和zookeeper需要先装好): 1.下载storm的tar...

2017-01-16 14:06:38

阅读数 437

评论数 0

翻译 Storm五之分布式消息系统

Storm实时处理的数据流通常来自消息队列系统, 外部独立的分布式消息系统将为实时数据处理系统提供输入流。 Storm Spout会从消息系统读取数据,经过处理后将其转换为tuple,然后再传入storm系统。 有趣的是,storm使用自己内部的分布式消息系统进行nimbus和supervi...

2017-01-16 13:47:54

阅读数 380

评论数 0

翻译 storm四之storm的工作流程

一个正常运行的Storm集群应该有一个nimbus和一个或多个supervisor。 还有另一个重要的节点是Apache zookeeper,用于nimbus和supervisor之间的协调。 现在让我们来仔细看看Apache Storm的工作流:   1.最初,nimbus等待topol...

2017-01-15 21:30:37

阅读数 1294

评论数 0

翻译 storm三之集群架构

One of the main highlight of the Apache Storm is that it is a fault-tolerant, fast with no “Single Point of Failure” (SPOF) distributed application. ...

2017-01-15 20:50:22

阅读数 531

评论数 0

翻译 storm二之storm核心概念

Apache storm——核心概念 Apache Storm reads raw stream of real-time data from one end and passes it through a sequence of small processing units and output...

2017-01-14 23:48:38

阅读数 564

评论数 0

翻译 storm一之storm是什么

Apache storm是什么? Apache storm是一个分布式实时大数据处理系统。storm的目的是提供容错和水平可伸缩扩展的方式处理大量数据。storm是一个高吞吐率流数据处理框架。虽然storm是无状态的,它通过Apache zookeeper管理分布式环境和集群状态。storm很简...

2017-01-14 23:36:12

阅读数 528

评论数 0

原创 hive select join

JOIN是子句用于通过使用共同值组合来自两个表特定字段。它是用来从数据库中的两个或更多的表组合的记录。它或多或少类似于SQL JOIN。 语法 join_table:      table_reference JOIN table_factor [join_condition]   ...

2017-01-14 09:55:25

阅读数 401

评论数 0

原创 hive group by

本章介绍了SELECT语句的GROUP BY子句。GROUP BY子句用于分类所有记录结果的特定集合列。它被用来查询一组记录。 语法 GROUP BY子句的语法如下: SELECT [ALL | DISTINCT] select_expr, select_expr, ...  FROM...

2017-01-14 09:52:23

阅读数 370

评论数 0

原创 hiveQL Select Order By

本章介绍了如何使用SELECT语句的ORDER BY子句。ORDER BY子句用于检索基于一列的细节并设置排序结果按升序或降序排列。 语法 下面给出的是ORDER BY子句的语法: SELECT [ALL | DISTINCT] select_expr, select_expr, ......

2017-01-14 09:49:21

阅读数 277

评论数 0

原创 hive select where

Hive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。 SELECT语句用来从表中检索的数据。 WHERE子句中的工作原理类似于一个条件。它使用这个条件过滤数据,并返回给出一个有限的结果。内置运算符和函...

2017-01-14 09:46:20

阅读数 2624

评论数 0

原创 hive视图和索引

本章介绍如何创建和管理视图。根据用户的需求创建视图。可以将任何结果集数据保存为一个视图。视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。 创建一个视图 可以创建一个视图,在执行SELECT语句的时候。语法如下: CREATE V...

2017-01-14 09:38:53

阅读数 382

评论数 0

原创 hive内置函数

之前关于hive的章节,都是在阿三的网站上翻译过来,昨天在查资料的时候,发现国内有网站已经翻译好了。好吧,不过还得把文章补全,就当作练练英语了。 本节介绍了在Hive中可用的内置函数。这些函数看起来非常类似于SQL的函数,除了他们的使用有点不一样。 内置函数 Hive支持以下内置函数...

2017-01-14 09:31:14

阅读数 356

评论数 0

原创 hive中内置操作符

本文介绍hive的内置操作。 Hive共有四种内置操作,如下: 1.Relational Operators 关系运算符 2.Arithmetic Operators 算术运算符 3.Logical Operators 逻辑运算符 4.Complex Operators 复杂的操作  ...

2017-01-08 22:58:12

阅读数 292

评论数 0

原创 hive表分区

Hive对表有分区的功能。 Hive根据表的列属性值,诸如日期,城市,部门对表进行分区,使用分区,能够很容易查询到数据的一部分。 表或分区被分为buckets(桶),以便为数据提供额外的数据结构,该数据结构被用于提升查询的有效性。 buckets(桶)的工作依赖于表中某个列的哈希函数值。 ...

2017-01-08 22:25:40

阅读数 289

评论数 0

原创 hive中表结构修改,表删除

Hive中对表修改,删除。 本章介绍如何改变表的属性,如改变表名称,改变列名称,添加列,删除或替换列。   Alter Table Statement Alter Table语法: 重命名表名 ALTER TABLE name RENAME TO new_name 例子:hive&g...

2017-01-08 21:46:45

阅读数 22819

评论数 6

原创 hive中表的创建以及数据的加载

本文介绍何如在hive中创建表以及加载数据   建表语法: CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name [(col_name data_type [COMMENT col_comment...

2017-01-08 18:53:32

阅读数 535

评论数 0

原创 hive中数据库的创建与删除

Hive安装完并初始化元数据后,会自动产生一个默认的数据库default. 但在时间的生产环境中,我们通常要创建自己的数据库. 文本介绍如何通过hive客户端和java程序创建和删除hive数据库。   创建数据库: 在hive中创建数据库,和在关系型数据库中创建数据库类似,用creat...

2017-01-08 18:10:16

阅读数 17680

评论数 0

原创 hive中的数据类型

本文将介绍hive中创建表时涉及的不同的数据类型。Hive中的数据类型分为以下四种: Column Types列类型 Literals文字 Null Values空值 Complex Types复杂类型   Column Types列类型 Column Types作为hive列数据类...

2017-01-08 17:38:49

阅读数 455

评论数 0

原创 hive体系结构和执行流程

HIVE是什么? Hive是hadoop上处理结构化数据的数据仓库基础工具,用来处理存储在hadoop上的海量数据,使用hive可以使查询和分析变得更简单。 Hive起初是有facebook开发,后来贡献给apache基金会的,apache对它做了进一步的开发并开源。   Hive不合适做哪些事情...

2017-01-08 16:24:38

阅读数 1709

评论数 0

原创 thymeleaf循环遍历

th:each属性用于迭代循环,语法:th:each="obj,iterStat:${objList}" 迭代对象可以是Java.util.List,java.util.Map,数组等; iterStat称作状态变量,属性有:     index:当前迭代对象的i...

2017-01-06 15:37:42

阅读数 22301

评论数 2

原创 java中请求响应时间监控

对多渠道的请求中,有时候需要控制请求的响应时间, 在java JDK1.5后,提供的并发包java.util.concurrent为此提供了响应的解决办法。 jdk1.5自带的并发库中Future类就能满足这个需求。 Future类中重要方法包括get()和cancel()。 get()获...

2017-01-04 13:06:08

阅读数 5158

评论数 0

原创 springboot计划任务(定时任务)

从spring3.1开始,计划任务在spring中变得异常简单。 具体操作: 1.在配置类上添加@EnableScheduling注解来开启对计划任务(定时任务)的支持 2.在执行方法上添加@Scheduled,声明该方法是一个计划任务(定时任务) 另:@Scheduled支持多种类型的计划任...

2017-01-04 12:01:55

阅读数 892

评论数 0

原创 springboot多线程编程

spring通过任务执行器TaskExecutor来实现多线程和并发编程。 使用ThreadPoolTaskExecutor可实现一个基于线程池的TaskExecutor。 而实际开发中任务一般是非阻塞的,即异步的,所以我们要在配置类中通过@EnableAsync注解来开启对异步任务的支持,并...

2017-01-04 12:00:58

阅读数 9576

评论数 0

原创 Avro Source配置详解

监听Avro端口和从外部Avro端接收事件流。 当在另一个(上一个)Flume agent搭配内置Avro sink,它可以创建分层集合拓扑。 以下为source配置时一些属性配置信息。 channels: source指定channels,可以是多个,即fan-out,用空格分割 t...

2016-12-18 22:20:57

阅读数 777

评论数 0

原创 flume七:Flume Interceptors介绍

flume默认提供以下Interceptors: Timestamp Interceptor: a1.sources = r1 a1.channels = c1 a1.sources.r1.channels =  c1 a1.sources.r1.type = seq a1.sourc...

2016-12-18 21:16:43

阅读数 276

评论数 0

原创 flume六:Event Serializers介绍

flume默认提供以下 Serializers: Body Text Serializer: a1.sinks = k1 a1.sinks.k1.type = file_roll a1.sinks.k1.channel = c1 a1.sinks.k1.sink.directory = ...

2016-12-18 21:15:35

阅读数 1224

评论数 0

原创 flume五:flume Processors介绍

目前flume支持default, failover or load_balance三种Processors。 Failover Sink Processor: a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgro...

2016-12-18 21:14:55

阅读数 265

评论数 0

原创 flume四:flume sink介绍

flume默认提供了以下sink: HDFS Sink: a1.channels = c1 a1.sinks = k1 a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /flume...

2016-12-18 21:14:24

阅读数 900

评论数 0

原创 flume三:flume Channel selector介绍

flume默认提供以下Selectors: Replicating Channel Selector a1.sources = r1 a1.channels = c1 c2 c3 a1.sources.r1.selector.type = replicating a1.sources...

2016-12-18 21:13:32

阅读数 503

评论数 0

原创 flume二:flume Channel介绍

flume默认提供了以下channel: Memory Channel: a1.channels = c1 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCap...

2016-12-18 21:12:48

阅读数 327

评论数 0

原创 flume一:flumeSource介绍

flume介绍 首先,flume是一个分布式、可靠和可用的系统,

2016-12-17 20:31:19

阅读数 567

评论数 0

原创 redis二:配置文件个参数解析

参数说明 redis.conf 配置项说明如下: 1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程     daemonize no 2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis....

2016-12-16 23:11:03

阅读数 210

评论数 0

原创 redis一:安装以及常见操作

redis安装: 1.tar -zxvf 文件名:解压文件 2.cd redis_version:进入到redis目录 3.make:编译redis 4.cd src:进入到src目录下 5.make install 6. ./redis-server  /home/lichangwu...

2016-12-16 22:18:02

阅读数 288

评论数 0

原创 hive安装

Hive只在一个节点上安装即可 1.上传tar包   2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql ...

2016-11-25 23:50:35

阅读数 314

评论数 1

原创 hbase集群搭建

1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HO...

2016-11-25 14:22:37

阅读数 324

评论数 0

原创 sqoop简单使用

sqoop安装:安装在一台节点上就可以了。 1.上传sqoop 2.安装和配置 2.1 添加sqoop到环境变量 2.2 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 2.3 如果启动时报找不到apache......sqoop.Sqoop类,检查$SQOOP_HOME/lib下...

2016-11-23 17:56:22

阅读数 240

评论数 0

原创 sqoop1.4.6使用配置

1.上传jar 2.解压     tar -zvxf sqoop-1.4.6.bin__hadoop-0.23.tar.gz 3.在conf目录下: cp  sqoop-env-template.sh    sqoop-env.sh    并配置相关参数即可 4.将...

2016-11-23 15:36:12

阅读数 265

评论数 0

原创 springboot 后台启动

直接启动:java -jar crawler_batch-0.0.1-SNAPSHOT.jar 这样的问题:启动窗口关掉时,springboot服务同时也关掉了 java -jar crawler_batch-0.0.1-SNAPSHOT.jar > log.file 2...

2016-11-23 13:22:30

阅读数 2285

评论数 0

提示
确定要删除当前文章?
取消 删除