spark
curiousby
这个作者很懒,什么都没留下…
展开
-
spark wordcount 第一个spark 程序
rray[String]) { if(args.length == 0) { println("usage: wordcount <file>") System.exit(1) } val conf = new SparkConf ().setAppName("wordcount") val sc = new SparkContext(conf) sc.textF2016-04-01 16:04:09 · 255 阅读 · 0 评论 -
spark sql maven idea打包
程连接是否通? mysql -h10.2.6.60 -uroot -proot sql demo package com.baoy.sql import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Created by John on 2016/4/1. * com.2016-04-05 14:42:13 · 192 阅读 · 0 评论 -
java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解
机器的 hostname 3.安装jdk 4.网络、hostname、hosts、防火墙、selinux、ntp等配置 5. 执行重启网络服务service network restart,使修改生效 6.安装ntp 7.安装cloudera前奏 8.生成免密钥登陆 9.安装java 10.创建 hadoop 用户 11.安装 cloudera 12.安装zookeeper 13.安装mysql 14.安装hive 15.安装spark 16.安装kafka 17. stor2016-12-06 17:15:35 · 468 阅读 · 0 评论