- 博客(19)
- 收藏
- 关注
原创 Spark transformation
1,所有的transformation都是采用的懒策略,就是如果只是将transformation提交是不会执行计算的,计算只有在action被提交的时候才被触发。
2014-07-30 15:55:04 739
原创 storm-0.9.1安装
安装GCCsudo yum install gcc*# sudo yum install uuid*# sudo yum install e2fsprogs*# sudo yum install libuuid*sudo yum install update-rc.d 1. 安装python2.7.2============================#
2014-07-21 16:06:51 848
原创 storm-on-yarn配置
1, 安装mvnwget http://mirror.symnds.com/software/Apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz tar –zxvf apache-maven-3.1.1-bin.tar.gz export MVN_HOME=/home/bigdata/mvn/apach
2014-07-21 16:05:00 883
原创 hive安装后测试
创建表: hive> CREATE TABLE pokes (foo INT,bar STRING); hive> CREATE TABLE invites (foo INT,bar STRING) PARTITIONED BY (ds STRING);查看表: SHOW TABLES;查看列: DESCRIBE invites;修改表:hive> ALTER TABL
2014-07-21 15:52:37 1280
原创 shark-0.9.1 安装后测试
CREATE TABLE src(key INT, value STRING);LOAD DATA LOCAL INPATH '${env:HIVE_HOME}/examples/files/kv1.txt' INTO TABLE src;SELECT COUNT(1) FROM src;CREATE TABLE src_cached AS SELECT * FROM SR
2014-07-21 15:51:27 468
原创 Hive-0.11.0+Spark-0.9.1+shark-0.9.1安装
准备:下载scala:wgethttp://downloads.typesafe.com/scala/2.11.1/scala-2.11.1.tgz 下载hivewgethttps://archive.apache.org/dist/hive/hive-0.11.0/hive-0.11.0.tar.gz 下载spark:wgethttp://d3kbcqa49mib
2014-07-21 15:46:58 956
原创 centos hadoop-2.3.0(HA+Federation+YARN)配置
javaz_home = /opt/jdk1.7.0_51scp -r mwd@gs-server-v-127:~/hadoop-2.3 mwd@gs-server-v-128:~/scp -r mwd@gs-server-v-127:$SHARK_HOME/lib_managed/jars/org.spark-project.protobuf/protobuf-java/protobuf
2014-07-21 15:42:04 820
原创 hive UDF
use mwd;--prepare data, c_ip 为左补足0转换后值-- ETL: spv datacreate temporary function row_sequence as 'com.mwd.hive.udf.RowSequence';create temporary function parse_agent as 'com.mwd.hive.udf.Hdfs
2014-07-08 11:29:10 528
原创 shark shema query language
drop database if exists mwd ;create database mwd character set UTF8;use mwd;set character set UTF8;
2014-07-07 16:48:13 813
原创 storm-0.9.2 集群安装
scp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-128:~/storm_ecoscp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-129:~/storm_eco安装GCCsudo yum install gcc*
2014-07-03 18:28:21 2201
原创 深圳—驾考
标准班5780元1、 定点接送服务;2、直接与文员约车,不存在偏心偏教;3、练车时间周一至周日8:00—21:004、含长训费(包韶关长训基地食宿费)(一年左右)特色班68801、定点接送服务;2、直接与文员约车,不存在偏心偏教;3、练车时间周一至周日8:00—21:00;4、含长训费(包韶关长训基地食宿费元)5、科学安排教学课程,突出重点、难点、以点带
2014-07-02 11:37:06 618
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人