李思苇

终身程序媛

在eclipse 运行 spark应用

在eclipse上运行Spark程序,提交到集群上以YARN-Client方式运行,或者以Standalone方式运行

2017-11-22 16:39:00

阅读数:261

评论数:0

spark RDD api

生成base RDD 直接从集合创建 makeRDD

2017-11-22 16:36:29

阅读数:58

评论数:0

spark 编译安装

spark 编译安装1、spark版本 apache CDH PDH 2、下载源码(git) 安装maven 3.3.3以上 wget http://mirrors.shuosc.org/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2...

2017-11-17 20:56:56

阅读数:88

评论数:0

kafka集群搭建

作者:罗天帅  出处:http://www.cnblogs.com/luotianshuai/  Kafka集群搭建 1、软件环境 1、linux一台或多台,大于等于2 2、已经搭建好的zookeeper集群 3、软件版本kafka_2.11-0.9.0.1.tgz 2、创建目录并...

2017-10-17 16:34:21

阅读数:132

评论数:0

elasticsearch 2.4.6 集群+kibana 4.6安装部署学习记录

转自大数据学习平台:大讲台: http://www.dajiangtai.com/course/search.do?search=elastic 另一详细安装教程:https://blog.csdn.net/gaoying_blogs/article/category/6303056 首先需要...

2017-09-28 17:45:14

阅读数:2594

评论数:0

elastic search 基本概念

转自:大讲台课程 http://www.dajiangtai.com/course/search.do?search=elastic 一、需求场景-产生背景      1、海量数据组合条件查询(           hbase 只能基于rowkey快速查询,条件单一)           lu...

2017-09-27 19:39:14

阅读数:151

评论数:0

Flume(NG)架构设计要点及配置实践

转自:时延军 http://shiyanjun.cn/archives/915.html Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行...

2017-09-22 21:11:36

阅读数:137

评论数:0

flume User Guide翻译-logging raw data / plugin

flume User Guide Logging raw data/Plugin flume提供了记录原始event数据和配置信息的功能,当flume出了问题时,可以通过这些信息和数据很方便地排查和定位问题。flume默认是不记录这些数据和信息的,不过如果flume出问题,flume还是会给出提示...

2017-09-20 10:08:48

阅读数:189

评论数:0

flume netcat source 监听 44444 -记flume官方文档的简单例子

本文是对flume官方文档中的 一个简单的例子的实践和说明,官方例子 http://flume.apache.org/FlumeUserGuide.html#a-simple-exampleflume的netcat source会自动创建一个socket Server,只需将数据发送到此socke...

2017-09-19 17:32:16

阅读数:701

评论数:0

Flume架构以及应用介绍

http://blog.csdn.net/a2011480169/article/details/51544664

2017-09-18 22:45:40

阅读数:232

评论数:0

flume介绍与原理(一)

flume介绍与原理(一)     1 .背景   flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume...

2017-09-18 22:02:58

阅读数:251

评论数:0

flume架构及源码解析

转自:http://www.jianshu.com/p/befa9c06baad 前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章,主要介绍了flume的简单使用和配置文件加载的全过程,那么今天我们重点分析flu...

2017-09-10 16:35:54

阅读数:138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭