Druid源码分析--整体结构

代码版本 0.9.1 项目地址 https://github.com/druid-io/druid.git 代码整体结构 api                       核心接口层,整个代码库的最底层 common                    公共方法,依赖api exam...

2017-02-24 16:28:09

阅读数 3219

评论数 0

tar命令打包时剔除无用的子目录

tar zcvf backup.tar.gz site/* --exclude=site/attach --exclude=site/images 简单解释一下: ls -l | grep “^-" 用来把当前目录下所有文件列出来,不包括子目录; awk '...

2017-02-08 17:09:47

阅读数 2980

评论数 0

Supervisor永不挂掉的进程

使用Supervisor管理Linux进程 简介 Supervisor是一个C/S系统,它可以在类UNIX系统上控制系统进程,由python编写,提供了大量的功能来实现对进程的管理。 安装 sudo pip install supervisor1 配置 安装完成 supervisor 之...

2017-02-07 13:38:18

阅读数 3569

评论数 1

Python升级2.4到2.7

Python升级  # yum install gcc gcc-c++.x86_64 compat-gcc-34-c++.x86_64 openssl-devel.x86_64 zlib*.x86_64  # wget http://www.python.org/ftp/python/2.7/...

2017-02-07 13:37:07

阅读数 1024

评论数 0

spark初探--单机快速安装

上次接触spark还在2013年,那会应该是0.*的版本,相当的不稳定,近两年spark越来越火,实在是受不了诱惑,膜拜膜拜。 安装那点小事    单机伪分布尝尝鲜,下载http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-h...

2017-01-23 10:37:31

阅读数 331

评论数 0

Scala基本语法

基本语法 Scala 基本语法需要注意以下几点: 区分大小写 -  Scala是大小写敏感的,这意味着标识Hello 和 hello在Scala中会有不同的含义。 类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称,每个单词的第...

2017-01-19 15:50:46

阅读数 279

评论数 0

Scala 特性

Scala 特性 面向对象特性 Scala是一种纯面向对象的语言,每个值都是对象。对象的数据类型以及行为由类和特质描述。 类抽象机制的扩展有两种途径:一种途径是子类继承,另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。 函数式编程 Scala也是一种函...

2017-01-19 15:48:25

阅读数 525

评论数 0

Scala简介

Scala 简介 Scala 是 Scalable Language 的简写,是一门多范式的编程语言 联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计Scala。 Funnel是把函数式编程思想和Petri网相结合的一种编程语言...

2017-01-19 15:47:42

阅读数 120

评论数 0

写在2017年的一月

重新写起博客来,记录点滴,不断成长,写给自己,即将步入而立之年的程序员。

2017-01-19 15:40:44

阅读数 144

评论数 0

ambari编译前环境准备

原文地址:https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development 1/安装git yum install git 2/下载ambari源码 git clone https://git-wip-u...

2015-04-14 10:52:39

阅读数 1014

评论数 0

编译安装Ambari

1.1 需要安装的工具 1.1.1     安装JDK 输入命令 [root@bigData-02 ~]# java –version java version "1.7.0_51" Java(TM) SE Runtime Environment ...

2015-04-14 10:07:32

阅读数 1241

评论数 0

spark简介

转自:http://tech.uc.cn/?p=2116 概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop Map...

2015-04-03 17:50:14

阅读数 637

评论数 0

MR1与MR2(yarn)对比

原地址:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,...

2015-04-03 17:39:06

阅读数 4754

评论数 0

hadoop工作原理

1.Job类初始化JobClient实例,JobClient中生成JobTracker的RPC实例,这样可以保持与JobTracker的通讯,JobTracker的地址和端口等都是外部配置的,通过Configuration对象读取并且传入。 2.JobClient提交作业。 3.Job...

2015-04-03 17:37:13

阅读数 756

评论数 0

hive统计分析窗口函数实战

窗口函数应用场景: (1)用于分区排序 (2)动态Group By (3)Top N (4)累计计算 (5)层次查询   一、分析函数 用于等级、百分点、n分片等。 函数 说明 RANK() 返回数据项在分组中的排名,排名...

2015-04-01 15:07:41

阅读数 2826

评论数 0

linux使用supervisor监控fluentd进程

1/配置 [program:td-agent] command=td-agent -o /var/log/td-agent/td-agent.log process_name=%(program_name)s autostart=true autorestart=true startsecs=10...

2015-03-30 15:55:02

阅读数 756

评论数 0

linux下使用supervisor监控应用程序

1 应用场景 应用程序需要24小时不间断运行。这时可使用supervisor监控应用程序的进程。当发生应用程序内部错误退出、进程被杀死等情况时,自动重启应用程序。 2 supervisor supervisor由python写成, 简单好用。官方网站 http://s...

2015-03-30 15:46:27

阅读数 1817

评论数 0

hadoop日志收集解决方案--fluentd配置文件

type tail format apache path /Data/logs/nginx/access.log pos_file /var/log/td-agent/nginx.pos tag nginx.access pos_file建议设置,方便fluentd挂掉以后,继续传递,确保数据完...

2015-03-30 15:04:30

阅读数 1314

评论数 0

开源日志收集软件fluentd 转发(forward)架构配置

需求: 通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中,然后通过webHDFS接口,写入到hdfs文件系统中。 软件版本说明: hadoop版本:1.1.2 fluentd版本:1.1.21 测试环境...

2015-03-30 14:32:29

阅读数 1984

评论数 0

利用fluentd构建分布式日志管理系统

如何有效地收集和管理大量服务器的日志一直是企业很头疼的一个问题,部分企业应用shell脚本来管理,部分企业基于hadoop来开发自己的日志管理系统,第一种管理成本巨大,需要大量的人力来维护脚本的正常运行,第二种研发成本高昂,那么如何才能降低这两方面的成本呢。 下面我们来介绍fluentd这种分布...

2015-03-30 14:32:07

阅读数 1470

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭