Spark
山谷來客
君子生非異也,善假於物也。
展开
-
Spark1.4.1单机版安装配置
版本信息 scala-2.11.7.tgz jdk-8u65-linux-x64.gz spark-1.4.1-bin-hadoop2.6.tgz IP: 192.168.31.157 查看IP的语法为:[root@localhost java]# ifconfig -a 步骤0:创建目录 [root@localhost ~]# mkdir /usr/java [root@loca原创 2015-12-31 17:10:10 · 1106 阅读 · 0 评论 -
hadoop2.6与hbase1.1.2单机版安装配置
环境: jdk版本:1.8(已完成安装及环境配置,路径:/usr/java/jdk1.8.0_65) hadoop版本:2.6.0 spark版本:1.4.1 0、创建目录 [root@localhost ~]# mkdir /usr/local/hadoop 1、下载hadoop hadoop-2.6.0.tar.gz 2、解压tar包 [root@原创 2016-01-05 19:55:00 · 2502 阅读 · 0 评论 -
scala-spark版本xgboost包使用
// XGBOOST测试 //调用形式 // /opt/app/spark-1.6.1/bin/spark-shell --master yarn-client --conf spark.executor.extraJavaOptions='-XX:PermSize=1024M' --driver-memory 6g --num-executors 80 //(续上) --e原创 2016-12-01 09:37:42 · 14385 阅读 · 5 评论 -
Windows下单机安装scala-Spark开发环境
part1:版本信息 (1)系统:Win7或Win10 (2)jdk版本 版本:1.7.0_60 (3)spark版本 spark-1.6.1-bin-hadoop2.6.tgz http://apache.fayea.com/ http://apache.fayea.com/spark/spark-1.6.1/ (4)hadoop版本 hadoop-2.6.0.tar.g原创 2017-04-23 23:26:25 · 3134 阅读 · 0 评论