- 博客(8)
- 资源 (33)
- 收藏
- 关注
原创 sparkstream-kafka
最近想弄一个sparkstream的实时监控,spark(1.2.0-cdh5.3.0)对接kafka。使用wordcount的例子如下: 1.按照kafka官网quick start教程将kafka跑起来: http://kafka.apache.org/ 2.用eclipse 随意构建一个maven工程,在pom.xml中添加如下:
2015-05-14 18:33:02 1003
原创 环境搭建(五) 错误笔记
hadoop-oozie配合使用有各种蛋疼问题,大多跟配置有关,部分记录如下: 1.hadoop-2.5.0-cdh5.3.0 =》oozie4.4.0-cdh5.3.0 oozie对hadoop的身份认证问题 User: xxx is not allowed to impersonate xxx $HADOOP_HOME/etc/hadoop/core-site.xml中进行设置,我
2015-04-27 13:11:17 694
原创 走进spark(二) rdd.persist
走进spark(二) rdd.persisit 上篇我们讲到通过调用rdd.checkpoint,可以将rdd存储在磁盘,除此之外rdd还有一个有意思的持久化方法rdd.persist,代码如下: defpersist(newLevel: StorageLevel): this.type = { // TODO:Handle changes of StorageLevel if
2015-04-20 18:00:08 1661
原创 走进spark(一) rdd.checkpoint
RDD无疑是spark框架中的核心概念之一,RDD是什么?概念太抽象,不如看看RDD有什么用。本篇主要介绍rdd的容错机制之一checkpoint,就是将RDD写入disk进行做检查点。 大致浏览 论文 ,RDD上的操作分为两种:transformation和 action. (1) Transformation =>从一个\多个rdd生成另一个rdd Filter,map,sam
2015-04-17 13:37:02 1444
原创 环境搭建(四)oozie3.3.2(ubuntu10.0.4)
.环境搭建(5)oozie3.3.2 转至元数据结尾 Created and last modified by 刘桂林 on 三月 11, 2015 转至元数据起始 考虑到hadoop-spark-oozie体系的稳定性,这里配置oozie3.3.2 Step-by-step guide 准备工作 安装mysql
2015-04-16 14:55:14 502
原创 环境搭建(三)hive0.12.0(ubuntu10.0.4)
Step-by-step guide 在mysql数据库中创建hive用户 $ mysql -u root -p > use user; > insert into user(Host,User,Password) values("localhost","hive",password("hive"));下载,配置环境变量 $ wget http://archive.apa
2015-04-16 14:53:00 332
原创 环境搭建(二)spark1.0.2 (ubuntu10.0.4)
考虑到hadoop,spark框架的稳定性,这里使用spark1.0.2 Step-by-step guide 0.安装scala spark框架使用scala开发 下载scala $ wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz $ tar zxvf scala-2.1
2015-04-16 14:49:06 377
原创 环境搭建(一)hadoop2.2.0 (ubuntu10.0.4)
目前的开发测试环境中用到map-reduce框架,hive数据库,spark也涉及了hdfs文件系统,因此有必要配置Hadoop环境,考虑到整个框架的稳定性等因素,这里搭建hadoop2.2.0. 准备工作: 安装了jdk,测试:java -version安装了vim,测试: vim a.txt 正式安装: 下载 hadoop-2.2.0.x86_64.tar.gz $
2015-04-16 14:45:00 457
在线最优化求解(Online Optimization)-冯扬-2014.12.09.pdf
2020-11-09
SQL Practice Problem.pdf
2017-11-14
Hadoop_Spark相关面试问题总结 - Hadoop知识库.pdf
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人