leo

HDFS中的数据都是分块存储的，默认块大小为64M，这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量，因为可以同时从读取文件的不同分块。一、数据写入在客户端想HDFS写数据的过程中，主要分为下面几个过程：客户端将数据缓存到本地的一个临时文件中；当这个本地的临时文件到达HDFS中的块大小限制时，客户端访问Namenod

[hadoop@master sbin]$ hdfs dfs -mkdir -p /user/oracle/input16/11/08 09:53:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where app

1、每台机器上执行ssh-keygen2、每台机器ssh-copy-id -i ~/.ssh/id_rsa.pub root@(集群中所有机器ip或host)3、service sshd restart4、测试

用VirtualBox下安装CentOS-7，结果一大堆的问题，这个问题还是最头疼，原因CenOS系统搭建完成后，不能全屏显示，就下载增强包安装，安装的时候一直报错：building the main guest additions module[失败]yum install kernel-headersyum install kernel-develyum install gcc

一、概述     Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示：     在Trident中有五种操作类型：

4.0.0 com.storm storm-example 0.0.1-SNAPSHOT storm-example UFT-8 org.apache.storm storm-core 1.0.2 maven-assembly-plugin

Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态即可以保留在topology的内部，比如说内存和HDFS，也可以放到外部存储当中，比如说Memcached或者Cassandra。这些都是使用同一套Trident API。Trident以一种容错的方式来管理状态以至于当你在更新状态的时候你不需要去考虑错误以及重试的情况。这种保证每个消息被处理有且只有一次的原理会让你更放心的

Trident 是 Storm 的一种高度抽象的实时计算模型，它可以将高吞吐量（每秒百万级）数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具，你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结（join）、聚合（aggregation）、分组（grouping）、函数（function）以及过滤

字符串常用方法find查找子串位置，返回子串所在位置最左端的索引值，如果有多处匹配，返回第一次匹配的字串位置，没有找到返回-1:>>> "我是中国人，我是一名python程序员。".find("python")10>>> 起始参数：join语法：  'sep'.join(seq)参数说明：    sep：分隔符。可以为空    seq：要连接的元素序

fsdfsdfsdf

目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串，例如：str='this is string';print str;b、使用双引号(")双引号中的字符串与单引号中的字符串用法完全相同，例如：

一个运行中的拓扑是由什么组成的：worker（jvm进程），executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的：    Worker进程    Executors (线程)    Tasks下图简单的展示了它们的关系：配置拓扑的并发度注意Storm的术语"并发度(paralleli

主要内容    storm有一个很重要的消息机制---确保spout发出的每个消息都会被完整的处理,本节将阐述storm是如何保证消息完整性和可靠性。看官网怎么说：Storm offers several different levels of guaranteed message processing, includeing best effort, at least once,

主要内容    Topologies    Streams    Spouts    Bolts    Stream groupings    Reliability    Tasks    Workers    Configurationstorm集群架构Nimbus和Supervisor的关系就是传统的主从关系，它们单独都可以做成集群

object Students { var name:String = null var age:Int = 0;}编译成class文件：import scala.reflect.ScalaSignature;public final class Students{ static void age_$eq(int paramInt) { Students..M

摘要: Scala中的函数作为一等公民，即第一类函数(first-class function)。作为一门函数式编程(FP，Functional Programming)语言，Scala鼓励EOP编程(Expression-Oriented Programming)，为了简化输入，在EOP中，所有表达式都是函数式值(Functional Values)返回。Scala 是一种函数式编程

函数scala中的函数和Java中方法的概念是一样的，就是要将程序分成若干段可以个职其责任。看一个scala简单的函数：object FunctionTest { def testPro(name:String,age:Int): Unit ={ println(name+":"+"age"); } def main(args: Array[String]): U

本节主要内容mutable、immutable集合Set操作实战Map操作实战Tuple操作实战队列操作实战栈操作实战mutable、immutable集合以下内容来源于Scala官方文档： http://www.scala-lang.org/docu/files/collections-api/collections.htmlScala collections s

定义数组scala> val numberArray=new Array[Int](10)numberArray: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个长度为10的String类型数组scala> val strArray=new Array[String](10)strArray: Array[String] =

在Java中能使用if else等语句自如控制程序的流向，在sacala中又是如何控制的呢？