- 博客(19)
- 收藏
- 关注
RSS订阅原创 Spark transformation
1，所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。
2014-07-30 15:55:04
739
原创 storm-0.9.1安装
安装GCCsudo yum install gcc*# sudo yum install uuid*# sudo yum install e2fsprogs*# sudo yum install libuuid*sudo yum install update-rc.d 1. 安装python2.7.2============================#
2014-07-21 16:06:51
848
原创 storm-on-yarn配置
1, 安装mvnwget http://mirror.symnds.com/software/Apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz tar –zxvf apache-maven-3.1.1-bin.tar.gz export MVN_HOME=/home/bigdata/mvn/apach
2014-07-21 16:05:00
883
原创 hive安装后测试
创建表： hive> CREATE TABLE pokes (foo INT,bar STRING); hive> CREATE TABLE invites (foo INT,bar STRING) PARTITIONED BY (ds STRING);查看表： SHOW TABLES;查看列： DESCRIBE invites;修改表：hive> ALTER TABL
2014-07-21 15:52:37
1280
原创 shark-0.9.1 安装后测试
CREATE TABLE src(key INT, value STRING);LOAD DATA LOCAL INPATH '${env:HIVE_HOME}/examples/files/kv1.txt' INTO TABLE src;SELECT COUNT(1) FROM src;CREATE TABLE src_cached AS SELECT * FROM SR
2014-07-21 15:51:27
468
原创 Hive-0.11.0+Spark-0.9.1+shark-0.9.1安装
准备：下载scala：wgethttp://downloads.typesafe.com/scala/2.11.1/scala-2.11.1.tgz 下载hivewgethttps://archive.apache.org/dist/hive/hive-0.11.0/hive-0.11.0.tar.gz 下载spark：wgethttp://d3kbcqa49mib
2014-07-21 15:46:58
956
原创 centos hadoop-2.3.0（HA+Federation+YARN）配置
javaz_home = /opt/jdk1.7.0_51scp -r mwd@gs-server-v-127:~/hadoop-2.3 mwd@gs-server-v-128:~/scp -r mwd@gs-server-v-127:$SHARK_HOME/lib_managed/jars/org.spark-project.protobuf/protobuf-java/protobuf
2014-07-21 15:42:04
819
原创 hive UDF
use mwd;--prepare data, c_ip 为左补足0转换后值-- ETL: spv datacreate temporary function row_sequence as 'com.mwd.hive.udf.RowSequence';create temporary function parse_agent as 'com.mwd.hive.udf.Hdfs
2014-07-08 11:29:10
528
原创 shark shema query language
drop database if exists mwd ;create database mwd character set UTF8;use mwd;set character set UTF8;
2014-07-07 16:48:13
813
原创 storm-0.9.2 集群安装
scp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-128:~/storm_ecoscp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-129:~/storm_eco安装GCCsudo yum install gcc*
2014-07-03 18:28:21
2201
原创 深圳—驾考
标准班5780元1、 定点接送服务；2、直接与文员约车，不存在偏心偏教；3、练车时间周一至周日8：00—21：004、含长训费（包韶关长训基地食宿费)（一年左右）特色班68801、定点接送服务；2、直接与文员约车，不存在偏心偏教；3、练车时间周一至周日8：00—21：00；4、含长训费（包韶关长训基地食宿费元）5、科学安排教学课程，突出重点、难点、以点带
2014-07-02 11:37:06
617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人