棉拖先生-CSDN博客

原创 spark学习笔记六：Spark Streaming

基本介绍Spark创建流式应用的本质，还是依赖了spark最核心的那些技术，只是在这些技术上又封装了一层流式接口。Spark的streaming机制简单来说，就是将连续的时间序列切割成不同的离散时间段。针对某个时间段，将该时间段内的所有输入数据组成一个RDD，接下来的工作就如同一个传统的sprark应用一样，对这个RDD进行各种变换，直到最终输出数据。可以认为，Spark Streamin

2015-02-06 15:52:08 8379

原创 spark学习笔记五：spark编程

Spark编程Window下的IDE环境安装ide前先安装scala。我在配置eclipse的过程中遇到一些莫名其妙的问题。建议直接使用IntelliJ IDEA。使用方法如下。1. 使用IntelliJ IDEA新建普通项目或maven项目。2. 以普通项目为例，新建项目后，需要依赖spark的jar包，在安装包中可以找到，名为spark-assembly-*

2015-02-06 15:50:15 2469

原创 spark学习笔记四：spark集群搭建

安装包编译spark官网已经针对hadoop的2.4+版本、2.3版本、1.x版本等提供了编译好的安装包。在某些情况下，需要自己编译spark。用maven编译的方法是：1. 安装好maven，下载和解压源码2. 设置环境变量在linux下运行：export MAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M -XX:Reserve

2015-02-06 15:48:36 911

原创 spark学习笔记三：spark原理介绍

基本介绍Spark是UC Berkeley AMPlab推出的分布式计算框架，目前有替代mapreduce的趋势。Spark使用scala语言开发，支持的策略开发语言有：scala、python、java。Spark的整个生态系统称为伯克利数据分析栈（BDAS）。Spark是伯克利数据分析栈（BDAS）的计算核心，相当于电脑中的CPU。Spark可以完全融入hadoop生态系统（比

2015-02-06 15:46:46 3432

原创 spark学习笔记二：scala语言基础2

控制抽象控制抽象指的是看上去像是编程语言关键字的函数，创建并使用控制抽象，可以简化代码量和复杂度，像使用if、while等内建控制语法一样使用自定义的控制抽象。要实现控制抽象，一般要使用到以下几个技术：1. 高阶函数（higher-orderfunction）。使用函数作为参数的函数。好处是减少代码的重复，因为可以把算法的不通用部分提取出来，由用户作为参数传入。2.

2015-02-06 15:40:12 1238

原创 spark学习笔记一：scala语言基础

这篇文章是《scala编程》的笔记。Scala基于java，是一种函数式编程+过程式编程的混合语言。可以使用解释器交互执行，也可以编译成jar包。变量Scala 有两种变量， val （引用不可变）和 var（引用可变）变量的定义和赋值语句是：val msg2: java.lang.String = "Helloagain, world!"msg2是变量名，jav

2015-01-26 14:07:50 1747

原创 storm学习小结三：编写拓扑实践

本文linux环境下安装配置storm，并成功运行一个topology，完成加法操作一.storm的安装和配置安装storm，需要依赖以几个系统：1.zookeeper zookeeper的安装，请自行查找资料；2.java的安装直接使用公司的某工具就可以安装完成，版本是6u453.jdk环境的配置（linux环

2014-09-30 13:59:35 723

转载 storm学习小结二：转载一个比较好的storm官方文档译文

1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。随着互联网的更进一步发展，从P

2014-09-30 13:51:44 532

原创 storm学习小结一：storm概述

本文只对storm作原理性的介绍和概述，不涉及代码，以及深层分析。概念解释1.业务层概念 storm在业务层所展现的结构是一个DAG（有向无环图，Directed Acyclic Graph）。如下图所示：其中，节点类型为spout或bolt，有向边代表这个流式系统中数据的流向。这两个概念是业务层的概念，也是代码层面的概念，也就是说，在stor

2014-09-30 13:42:36 955

转载 zookeeper技术浅析

本文转载自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.htmlZookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有

2013-09-24 14:24:52 651

原创进程组、作业、会话的概念梳理

1.进程组基本概念进程组就是一些进程的组合。这些进程并不是孤立的，他们彼此之间或者存在父子、兄弟关系，或者在功能上有相近的联系。作用为啥Linux里要有进程组呢？其实，提供进程组就是为了方便对进程进行管理。假设要完成一个任务，需要同时并发100个进程。当用户处于某种原因要终止这个任务时，要是没有进程组，就需要手动的一个个去杀死这100个进程，并且必须要严格按照进程间父子兄弟关系

2013-09-22 19:20:31 1270

原创弱符号和extern “c”

弱符号和extern “c”，这两者在某种程度上没有什么关联，一个是编译器提供的属性选项（弱符号），一个是C++语言中用来兼容C程序的机制（extern “c”，当然它与编译器也密切相关，下文细述）。这所以把这两种放在一起说，是因为最近在研究TCMalloc源码时遇到的一些问题，让我感到和困惑。这个问题描述如下：1. 实例场景在TCMalloc的malloc_hook.cc中，有这

2013-08-01 17:40:22 1498 1

原创 c可变参数和stdarg.h

c语言支持在函数中使用可变长度的参数列表（也支持宏定义的可变长参数列表，这点在以后再做研究）。带可变参数的函数基本声明类似这样：extern int printf (const char *__restrict__format, ...);网上很多讲解函数可变长度参数列表的文章都使用prinft做例子，原因就是它比较常用吧。c语言标准ISO C11中在第七章 Library中，提出使用标准

2013-07-30 15:54:42 1039

转载函数调用栈桢内容

本文转载自：http://bdxnote.blog.163.com/blog/static/8444235201063083331797/当发生函数调用的时候，栈空间中存放的数据是这样的:1、调用者函数把被调函数所需要的参数按照与被调函数的形参顺序相反的顺序压入栈中，即:从右向左依次把被调函数所需要的参数压入栈；2、调用者函数使用call指令调用被调函数，并把call指令的下一条指令的

2013-07-30 15:51:01 1062

原创关于Linux线程id衍生出的讨论

1. 内核中线程的idLinux 内核中实际没有实现真正意义上的线程，或者说Linux的内核中并没有为“线程”这个概念提供一个专用的结构进行维护，其实现方法和进程一样。Linux内核中的 task_struct 结构记录了每个调度单元的信息（线程是内核中最小的调度单元），这个结构体中包括 pid 和 tgid 两个域。pid 是每个执行单元的核内唯一标识，而 tgid，thread grou

2013-07-16 23:03:03 775

原创 automake和autoconf学习小结

从网上下载的许多源码的编译和安装过程非常简单，压缩后需要的操作只有三步：./configuremakemake install即我们只要运行./configure，这个脚本就能检测当前系统的一些特性；运行make，则会读取Makefile的一些配置，对源码进行编译。这种软件编译和安装的框架其实是有一套标准的，即GNU项目提出的GNU build system。GNU Build

2013-07-14 21:50:32 1274

棉拖先生太固执