- 博客(18)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Building the main Guest Additions module
用VirtualBox下安装CentOS-7，结果一大堆的问题，这个问题还是最头疼，原因CenOS系统搭建完成后，不能全屏显示，就下载增强包安装，安装的时候一直报错：building the main guest additions module[失败]yum install kernel-headersyum install kernel-develyum install gcc
2016-10-31 18:17:37
803
原创 storm trident api
一、概述 Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示： 在Trident中有五种操作类型：
2016-10-28 10:03:29
836
原创 storm从入门到精通 第七节 wordcount
4.0.0 com.storm storm-example 0.0.1-SNAPSHOT storm-example UFT-8 org.apache.storm storm-core 1.0.2 maven-assembly-plugin
2016-10-27 14:26:58
1033
转载 Storm Trident state 原理
Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态即可以保留在topology的内部，比如说内存和HDFS，也可以放到外部存储当中，比如说Memcached或者Cassandra。这些都是使用同一套Trident API。Trident以一种容错的方式来管理状态以至于当你在更新状态的时候你不需要去考虑错误以及重试的情况。这种保证每个消息被处理有且只有一次的原理会让你更放心的
2016-10-26 16:03:57
721
翻译 storm从入门到精通 第五节 Trident
Trident 是 Storm 的一种高度抽象的实时计算模型，它可以将高吞吐量（每秒百万级）数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具，你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结（join）、聚合（aggregation）、分组（grouping）、函数（function）以及过滤
2016-10-25 12:03:28
564
原创 python从入门到精通 第三节 字符串
字符串常用方法find查找子串位置，返回子串所在位置最左端的索引值，如果有多处匹配，返回第一次匹配的字串位置，没有找到返回-1:>>> "我是中国人，我是一名python程序员。".find("python")10>>> 起始参数：join语法： 'sep'.join(seq)参数说明： sep：分隔符。可以为空 seq：要连接的元素序
2016-10-21 17:26:33
566
转载 python从入门到精通 第一节 数据类型
目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串，例如：str='this is string';print str;b、使用双引号(")双引号中的字符串与单引号中的字符串用法完全相同，例如：
2016-10-19 10:01:33
986
原创 storm从入门到精通 第四节 拓扑的并发
一个运行中的拓扑是由什么组成的：worker（jvm进程），executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的： Worker进程 Executors (线程) Tasks下图简单的展示了它们的关系：配置拓扑的并发度注意Storm的术语"并发度(paralleli
2016-10-18 14:08:44
659
原创 storm从入门到精通 第三节 storm消息机制
主要内容 storm有一个很重要的消息机制---确保spout发出的每个消息都会被完整的处理,本节将阐述storm是如何保证消息完整性和可靠性。看官网怎么说：Storm offers several different levels of guaranteed message processing, includeing best effort, at least once,
2016-10-17 19:56:18
1757
原创 storm从入门到精通 第二节 基础知识讲解
主要内容 Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configurationstorm集群架构Nimbus和Supervisor的关系就是传统的主从关系，它们单独都可以做成集群
2016-10-17 19:27:04
858
原创 类和对象
object Students { var name:String = null var age:Int = 0;}编译成class文件：import scala.reflect.ScalaSignature;public final class Students{ static void age_$eq(int paramInt) { Students..M
2016-10-14 13:58:10
437
转载 高阶函数
摘要: Scala中的函数作为一等公民，即第一类函数(first-class function)。作为一门函数式编程(FP，Functional Programming)语言，Scala鼓励EOP编程(Expression-Oriented Programming)，为了简化输入，在EOP中，所有表达式都是函数式值(Functional Values)返回。Scala 是一种函数式编程
2016-10-13 19:24:01
756
原创 第四节 函数和闭包
函数scala中的函数和Java中方法的概念是一样的，就是要将程序分成若干段可以个职其责任。看一个scala简单的函数：object FunctionTest { def testPro(name:String,age:Int): Unit ={ println(name+":"+"age"); } def main(args: Array[String]): U
2016-10-13 11:55:52
500
转载 Set、Map、Tuple、队列操作实战
本节主要内容mutable、immutable集合Set操作实战Map操作实战Tuple操作实战队列操作实战栈操作实战mutable、immutable集合以下内容来源于Scala官方文档： http://www.scala-lang.org/docu/files/collections-api/collections.htmlScala collections s
2016-10-12 18:42:44
1765
原创 Array、List的定义和操作
定义数组scala> val numberArray=new Array[Int](10)numberArray: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个长度为10的String类型数组scala> val strArray=new Array[String](10)strArray: Array[String] =
2016-10-11 14:20:05
3602
原创 scala数据类型
和java的数据类型类似，scala中的数据类型都是以大写开头。不仅仅数据类型和Java类型，就连数据类型操作，都差不多，最大的区别就是写法的不同，但是对于有Java基础的同学，应该会在看到一段表达式以后，能立刻猜出代码的意图，因此这里就不错赘述了。直接讲讲scala好玩的写法。
2016-10-10 09:54:01
1197
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人