Spark
余音丶未散
J2EE,机器学习,Hadoop,Spark,时间序列分析
展开
-
spark初步使用
./spark-shell --master local[2] #启动一个本地模式的spark应用 2代表的两个线程启动Hadoop2.x start-dfs.sh start-yarn.sh stop-dfs.sh stop-yarn.sh新建spark项目scala scala 填名称 一直下一步File-Project Structure-Artifacts原创 2016-04-27 08:52:52 · 552 阅读 · 0 评论 -
Spark MLlib算法
Spark MLlib算法官方文档Mathematical formulation数学公式Loss functions损失函数hinge losslogistic losssquared lossRegularizers正则化L1L2elastic netzero (unregularized)Optimization优化spark使用 SGD 和 L-BFGS 这两种梯度下降方法原创 2017-01-09 22:22:31 · 926 阅读 · 0 评论 -
Spark使用笔记汇总
安装IDEA及打包-常见问题参考http://www.cnblogs.com/seaspring/p/5615976.html https://yq.aliyun.com/articles/60346?spm=5176.8251999.569296.68 版本问题很重要,修改版本后注意新建项目的时候版本也得匹配 参考https://www.zhihu.com/question/34099679原创 2017-01-03 11:32:31 · 1765 阅读 · 0 评论 -
spark笔记-SQL
spark--SQL笔记1.6spark-shell --master local[1]创建val sc: SparkContext // An existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)// this is used to implicitly conve原创 2016-05-11 21:32:39 · 2901 阅读 · 0 评论 -
spark笔记二之Spark程序模型Transformation算子与action算子
Spark程序模型textFile读取文件val file=sc.textFile(“hdfs://192.168.192.137:9000/data/t1.csv”) filter函数过滤带“a”的行,输出errors(errors也是一个RDD)filter(func)val errors=file.filter(line=>line.contains(“a”)) count函数返回带“a”原创 2017-01-03 15:47:09 · 702 阅读 · 0 评论 -
Scala笔记学习之二
定义主函数object HelloWorld { def main(args: Array[String]) { println("Hello, world!") }}#交互式命令行调用HelloWorld.main(null)Scala代码作为脚本语言./hello.sh#!/bin/shexec scala "$0" "$@"!#object HelloWorld e原创 2016-12-16 10:45:33 · 594 阅读 · 0 评论 -
Scala基础语法学习笔记
scala学习笔记脚本模式编程object HelloWorld { def main(args: Array[String]) { println("Hello, world!") // prints Hello World }}基础语法 区分大小写 - Scala是大小写敏感的,这意味着标识Hello 和 hello在Scala中会有不同的含义。类名 - 对于所有的原创 2016-11-26 10:07:39 · 669 阅读 · 0 评论 -
zeppelin安装-- Spark交互式平台
1. 安装scala-安装spark附镜像地址http://www-eu.apache.org/dist/tar -zxvf scala-2.11.0.tgz -C ~/software/vi ~/.bashrcexport SCALA_HOME=/home/jarvanl/software/scala-2.11.0export PATH=$PATH:$SCALA_HOME/binexpor原创 2016-11-11 11:16:07 · 873 阅读 · 0 评论 -
Spark笔记一之启动、简单RDD、提交、测试
./spark-shell --master local[2] #启动一个本地模式的spark应用 2代表的两个线程启动Hadoop2.x start-dfs.sh start-yarn.sh stop-dfs.sh stop-yarn.sh新建spark项目scala scala 填名称 一直下一步File-Project Structure-Artifacts原创 2016-05-04 08:10:12 · 591 阅读 · 0 评论 -
spark笔记-MLlib之kmeans
聚类运算,生成2类import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.mllib.clustering.KMeansimport org.apache.spark.mllib.linalg.Vectorsobjec原创 2016-05-13 20:02:08 · 546 阅读 · 0 评论 -
ubuntu15安装spark1.6
ubuntu安装spark1、安装Ubuntu2、设置root密码sudo passwd root[sudo] password for you :---> 输入你的密码,不会显示3、安装vmtools 复制到桌面 提取出来 su 命令 ./vm...install...4、系统设置-语言支持-检查-更新5、重启判断Ubuntu是否安装了ssh服务:ps -e原创 2016-05-13 19:44:39 · 495 阅读 · 0 评论 -
Spark笔记-sparkStreaming代码演示
Hdfs文件演示////////////////////////////////////////////////////////// 代码 /////////////////////////////////////////////////////////////////package week5import org.apache.spark.Sp原创 2016-05-12 18:00:24 · 500 阅读 · 0 评论 -
spark使用hive出错,添加以下配置
错误:Failed to start database 'metastore_db' with class loader org.apache.spark.sqlSPARK_HOME/CONF/spark-env.sh中配置:export HIVE_CONF_DIR=/opt/modules/hive-1.0.1/confexport CLASSPATH=$CLASSP原创 2016-05-12 10:40:45 · 3309 阅读 · 0 评论 -
Spark笔记简单实例演示
spark-shell --master local[1] #启动一个本地模式的spark应用 2代表的两个线程//parallelize演示val num=sc.parallelize(1 to 10)val doublenum = num.map(_*2)val threenum = doublenum.filter(_ % 3 == 0)threenum.colle原创 2016-05-11 21:34:57 · 463 阅读 · 0 评论 -
Spark的安装,编译
Spark的安装与编译 LYTforgood5251、安装JDK2、安装scala3、安装Hadoop2.X4、安装Sparktar -zxvf scala-2.10.4.tgz -C /opt/modules/tar -zxvf spark-1.3.0-bin-2.6.0.tgz -C /opt/modules/export SCALA_HOME=/opt/原创 2016-04-27 08:54:20 · 586 阅读 · 0 评论 -
spark线上环境问题总结
编译xgboost4j-on-spark的坑下载源码 git clone –recursive https://github.com/dmlc/xgboost 必须下载依赖 gcc –version 版本必须4.6以上cd jvm-packagesmvn -Dspark.version=2.1.1 package //mvn package上传到集群主要要把xgboost4j的j原创 2017-06-28 13:26:40 · 731 阅读 · 0 评论