2016年05月_forrestxingyunfei

原创 Storm学习一： Storm简介

Storm学习一： Storm简介标签（空格分隔）： StormStorm学习一 Storm简介一Storm一些关键特性二Storm的原理和概念三Storm的本地安装一，Storm一些关键特性1，适用场景广泛： storm可以实时处理消息和更新DB，对一个数据量进行持续的查询并返回客户端（持续计算），对一个耗资源的查询作实时并行化的处理(分布式方法调用，即DRPC），storm的这些基础AP

2016-05-12 16:51:10 733

原创 linux入门到精通一：文件目录，磁盘以及一些命令

linux入门到精通一：文件目录，磁盘以及一些命令标签（空格分隔）： linuxlinux入门到精通一文件目录磁盘以及一些命令1磁盘分区2文件系统和目录3SSH4基本的命令5文件查看命令1,磁盘分区2，文件系统和目录常见的目录及命令： mkdir: file: locate: which: whereis: find: gzip: bzip2: tar: zip/un

2016-05-10 16:23:44 1331

原创 Spark学习八：spark streaming与flume和kafka集成

Spark学习八：spark streaming与flume和kafka集成标签（空格分隔）： SparkSpark学习八spark streaming与flume和kafka集成一Kafka二flume和kafka的集成三kafka和spark streaming的集成方式一kafka推送四kafka和spark streaming的集成方式一spark streaam主动获取五spar

2016-05-09 00:31:50 5574

原创 Spark学习七：spark streaming与flume集成

Spark学习七：spark streaming与flume集成标签（空格分隔）： Spark一，启动flumeflume-conf.properties文件agent002.sources = sources002agent002.channels = channels002agent002.sinks = sinks002## define sourcesagent002.sources

2016-05-09 00:31:16 2752

原创 Spark学习六：spark streaming

Spark学习六：spark streaming标签（空格分隔）： SparkSpark学习六spark streaming一概述二企业案例分析三Spark streaming的工作原理四textFileStreaming的应用四企业中的开发方式五总结一，概述一个简单的实例 1，安装ncnc -lk 99992,启动应用./bin/run-example streaming.Newo

2016-05-09 00:30:43 2458

原创 Spark学习五：spark sql

Spark学习五：spark sql标签（空格分隔）： SparkSpark学习五spark sql一概述二Spark的发展历史三Spark sql和hive对比四spark sql 架构五sprk sql访问hive数据六catalyst七thriftserver 八Dataframe九加载外部数据源Spark SQL强大诞生了一，概述：二，Spark的发展历史三，Spark

2016-05-09 00:29:59 3734

原创 eclipse安装和maven的配置（windows）

eclipse安装和maven的配置（windows）标签（空格分隔）： javaeclipse安装和maven的配置windows一jdk安装与环境搭建二成功运行eclipse一，jdk安装与环境搭建1，双击jdk进行安装（最好是自定安装目录） 2，配置系统变量 3，选择下面系统变量的新建，在弹出的框内，填入变量名：JAVA_HOME 变量值填jdk的具体安装路径（比如D:\Ja

2016-05-01 00:37:01 549

原创 google搜索引擎核心PageRank

google搜索引擎核心PageRank标签（空格分隔）： Spark算法实现源码：/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work

2016-05-01 00:17:39 825

原创 Spark学习四：网站日志分析案例

Spark学习四：网站日志分析案例标签（空格分隔）： SparkSpark学习四网站日志分析案例一创建maven工程二创建模板三日志分析案例一，创建maven工程1，执行maven命令创建工程mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-arch

2016-05-01 00:16:58 13757

原创 Spark学习三：Spark Schedule以及idea的安装和导入源码

Spark学习三：Spark Schedule以及idea的安装和导入源码标签（空格分隔）： SparkSpark学习三Spark Schedule以及idea的安装和导入源码一RDD操作过程中的数据位置二Spark Schedule三Idea导入spark源码一，RDD操作过程中的数据位置[hadoop001@xingyunfei001 spark-1.3.0-bin-2.5.0]$ bi

2016-05-01 00:16:11 8659 2

youfashion的博客