kafka一之配置文件说明 broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况,最大值为255log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能 /data/kafka-l
storm七之storm java示例 通过前面6个章节，我们大致了解apache storm的核心细节了，现在我们开始写一些简单的代码，来感受下storm的魅力。场景——移动呼叫日志分析移动电话呼叫号及其持续时间将作为Apache stormd的输入流,storm将根据拨号方和接收方之间的电话号码以及通话次数进行分组。 Spout CreationSpout是storm用于数据生成的一个组件,。通常
Storm六之storm安装 我们现在来看看如何在自己的机器上安装storm。主要分为三步：1.安装java环境2.安装zookeeper环境3.安装storm 步骤1和2省略，不会请自行百度。下面开始安装storm的步骤(此时java和zookeeper需要先装好):1.下载storm的tar文件(apache官网上自行下载)2.解压tar文件$tar -zvxf apache-sto
Storm五之分布式消息系统 Storm实时处理的数据流通常来自消息队列系统，外部独立的分布式消息系统将为实时数据处理系统提供输入流。Storm Spout会从消息系统读取数据,经过处理后将其转换为tuple，然后再传入storm系统。有趣的是，storm使用自己内部的分布式消息系统进行nimbus和supervisor之间的通信。 什么是分布式消息系统？分布式消息系统是基于可靠的消息队列，消息由客户机
storm四之storm的工作流程 一个正常运行的Storm集群应该有一个nimbus和一个或多个supervisor。还有另一个重要的节点是Apache zookeeper,用于nimbus和supervisor之间的协调。现在让我们来仔细看看Apache Storm的工作流： 1.最初,nimbus等待topology提交2.一旦提交了topology,nimbus将处理topology来收集所有的执行任务和
storm三之集群架构 One of the main highlight of the Apache Storm is that it is a fault-tolerant, fast with no “Single Point of Failure” (SPOF) distributed application. We can install Apache Storm in as many systems as n
storm二之storm核心概念 Apache storm——核心概念Apache Storm reads raw stream of real-time data from one end and passes it through a sequence of small processing units and output the processed / useful information at the other e
storm一之storm是什么 Apache storm是什么?Apache storm是一个分布式实时大数据处理系统。storm的目的是提供容错和水平可伸缩扩展的方式处理大量数据。storm是一个高吞吐率流数据处理框架。虽然storm是无状态的,它通过Apache zookeeper管理分布式环境和集群状态。storm很简单，可以对实时数据并行的进行各种各样的操作。 Apache storm是实时数据分析领域是领跑
hive select join JOIN是子句用于通过使用共同值组合来自两个表特定字段。它是用来从数据库中的两个或更多的表组合的记录。它或多或少类似于SQL JOIN。语法join_table: table_reference JOIN table_factor [join_condition] | table_reference{LEFT|RIGHT|FULL} [OUTER] JOIN
hive group by 本章介绍了SELECT语句的GROUP BY子句。GROUP BY子句用于分类所有记录结果的特定集合列。它被用来查询一组记录。语法GROUP BY子句的语法如下：SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP B
hiveQL Select Order By 本章介绍了如何使用SELECT语句的ORDER BY子句。ORDER BY子句用于检索基于一列的细节并设置排序结果按升序或降序排列。语法下面给出的是ORDER BY子句的语法：SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [
hive select where Hive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。SELECT语句用来从表中检索的数据。 WHERE子句中的工作原理类似于一个条件。它使用这个条件过滤数据，并返回给出一个有限的结果。内置运算符和函数产生一个表达式，满足以下条件。语法下面给出的是SELECT查询的语法：SELECT [A
hive视图和索引 本章介绍如何创建和管理视图。根据用户的需求创建视图。可以将任何结果集数据保存为一个视图。视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。创建一个视图可以创建一个视图，在执行SELECT语句的时候。语法如下：CREATE VIEW [IF NOT EXISTS] view_name [(column_name [COMMEN
hive内置函数 之前关于hive的章节，都是在阿三的网站上翻译过来，昨天在查资料的时候，发现国内有网站已经翻译好了。好吧，不过还得把文章补全,就当作练练英语了。本节介绍了在Hive中可用的内置函数。这些函数看起来非常类似于SQL的函数，除了他们的使用有点不一样。内置函数Hive支持以下内置函数示例以下查询演示了一些内置函数：round() 函数hiv
hive中内置操作符 本文介绍hive的内置操作。Hive共有四种内置操作，如下：1.Relational Operators 关系运算符2.Arithmetic Operators 算术运算符3.Logical Operators 逻辑运算符4.Complex Operators 复杂的操作 Relational Operators 关系运算符关系运算符被用来比较两个操作数。下表描述了
hive表分区 Hive对表有分区的功能。Hive根据表的列属性值,诸如日期,城市,部门对表进行分区,使用分区,能够很容易查询到数据的一部分。表或分区被分为buckets(桶),以便为数据提供额外的数据结构,该数据结构被用于提升查询的有效性。buckets(桶)的工作依赖于表中某个列的哈希函数值。例如,一个名为Tab1的表包含员工的信息,如id、名称、部门和yoj(即加入年份)。假设您需要检索所有
hive中表结构修改，表删除 Hive中对表修改，删除。本章介绍如何改变表的属性,如改变表名称,改变列名称,添加列,删除或替换列。 Alter Table StatementAlter Table语法：重命名表名ALTER TABLE name RENAME TO new_name例子：hive> ALTER TABLE employee RENAME TO emp; 添加新列ALTER
关注
