![](https://img-blog.csdnimg.cn/20190604202423460.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop/Spark
Hadoop/Spark 环境搭建和数据分析代码分实现
白马长枪儒雅将
这个作者很懒,什么都没留下…
展开
-
scala 学习笔记1
1 xxx.toXxx------>相当于将一个类型转换为另一个类型2Scala有两种变量, val和var。 val类似于Java里的final变量。一旦初始化了,val就不能再赋值了3Scala有两种变量,val和var。val类似于Java里的final变量。一旦初始化了,val就不能再赋值了。与之对应的,var如同Java里面的非final变量。var可以在原创 2016-06-29 17:14:12 · 497 阅读 · 0 评论 -
day05--scala
package day05object ScalaInAction { println("Welcome to the Scala worksheet") //> Welcome to the Scala worksheetval s=Array("hello","world") //> s : Array[String] = Array(hello,原创 2016-05-19 20:46:12 · 293 阅读 · 0 评论 -
day02-scala
1 tupleobject TupleOps { def main(args: Array[String]): Unit = { val triple=(100,"spark","hello")//数组object ArrayOperrations { def main(args: Array[String]): Unit = { val array= Array(1,2原创 2016-05-18 23:32:18 · 337 阅读 · 0 评论 -
day07--scala
1 scala 中的类,默认有setter 和 getter 的方法 ,不用再重复写下面的代码是正确的class Person{ private var age=0 def increment(){age+=1} def current=age }class Student{ var priage=0 //private[this] var priage=0原创 2016-05-20 22:35:14 · 335 阅读 · 0 评论 -
day06--scala
object Map_Tuple { def main(args: Array[String]): Unit = { val map=Map("book"->1,"gun"->18,"ipad"->1000) for((k,v)<-map) yield (k,v*0.9) val scores= scala.collection.mutable.Map("h原创 2016-05-19 22:47:30 · 348 阅读 · 0 评论 -
day04-scala
1object For_Functionz_Adavanced { def main(args: Array[String]): Unit = { for(i<- 1 to 2 ;j<- 1 to 2) print((100*i+j)+" ") }}----101 102 201 202 2object For_Functionz_Ad原创 2016-05-19 00:19:26 · 285 阅读 · 0 评论 -
day01-scala
1 简单的scala的程序object cn { def dowhile(){ println("请输入:") var line="" do{ line=readLine() println("Read:"+line) }while(line!="") } def looper(x:Long,y:Long):Long={原创 2016-05-18 23:29:56 · 355 阅读 · 0 评论 -
window下安装scala 环境
Scala是一门以Java虚拟机(JVM)为目标运行环境,将面向对象和函数式编程语言最佳特性结合在一起的编程语言。 可以使用Scala编写出更加精简的程序,同时充分利用并发的威力。 由于Scala运行于JVM之上,因此它可以访问任何Java类库并且与Java框架进行交互操作。 它既有动态语言那样转载 2016-05-02 23:06:35 · 1828 阅读 · 0 评论 -
Spark 应用开发程序
目 录1 绪论 1 1.1 项目背景 1 1.1.1 Hadoop的发展 1 1.1.2 Spark的兴起 2 1.2 项目意义 2 2 Hadoop云计算环境的搭建 3 2.1 准备工作 3 2.2 环境说明 3 2.3 网络环境配置 4 2.4 SSH无密码验证登陆 5 2.5 Master上安装JDK 6 2.6 Mas原创 2017-03-25 15:15:52 · 2368 阅读 · 0 评论 -
Hadoop经典案例Spark实现(一)——通过采集的气象数据分析每年的最高温度
1、原始数据分析0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9+00221+999999999999999999999900670119909999919500515180048888888...原创 2016-06-29 17:18:07 · 2116 阅读 · 0 评论 -
spark 学习笔记1
本人在虚拟机上搞的时候,没遇到过但是在实体机上整的时候,遇到了,jps的时候,每一台上都出现了worker的信息,master也出现了,但是不幸的是,8080页面显示:worker为0,页面上出现与预知情况不相符的时,第一件事就是关闭防火墙!!!解决方案:1 确定SSH 好使,不要偷懒,一台一台的试试。2 确定防火墙全部关闭不要偷懒,一个一个的都关闭了!!! master worker都给原创 2016-06-29 17:17:17 · 458 阅读 · 0 评论 -
Spark算子系列文章
Spark算子:RDD基本转换操作(1)–map、flagMap、distinctSpark算子:RDD创建操作Spark算子:RDD基本转换操作(2)–coalesce、repartitionSpark算子:RDD基本转换操作(3)–randomSplit、glomSpark算子:RDD基本转换操作(4)–union、intersection、subtract转载 2016-06-29 17:15:33 · 1085 阅读 · 0 评论 -
简单SparkRDD单词计数操作
1 工具IDEA2 添加jar依赖3 spark的local模式在自己电脑下创建文件:E://sparktext//text.txt然后写入:hadoophbasehadoophelloworldhivehivehellosparksparkmapreduce1 代码import org.apache.spark.{SparkConf原创 2016-05-14 23:43:09 · 7702 阅读 · 0 评论 -
Intellij IDEA开发(local模式)提交运行Spark代码
这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序: 1 首先下载Intellij IDEA 地址: https://www.jetbrains.com/idea/download/#section=windows 点击相应的 window 下载 2 下载之后创建工程和类 (温馨提示 :在写这个程序程序之前请把所需要的jar包原创 2016-05-02 21:20:37 · 14964 阅读 · 0 评论 -
hadoop2.6.0的环境搭建
目 录1绪论 11.1 项目背景 11.1.1 Hadoop的发展 11.1.2 兴起的Spark 22Hadoop云计算环境的搭建 32.1 准备工作 32.2 环境说明 32.3 网络环境配置 42.4 SSH无密码验证登陆 52.5 Master上安装JDK 62.6 Master安装Hadoop 62.7 启动Hadoop集群...原创 2016-06-29 17:43:33 · 7122 阅读 · 0 评论 -
hadoop Data上jps不出现Datanode
这个情况的发生是由于你自己用的linux和virbox共同作用的结果,虚拟机本身不稳电工。会虚拟机假死的情况,如果说页面已经出现了Datanode的话,那么重启一下,假死现象消失,jps后出现DataNode.原创 2016-06-16 10:50:11 · 2844 阅读 · 0 评论 -
全球气象数据下载
http://f.dataguru.cn/thread-199308-1-1.html转载 2016-06-13 22:36:08 · 12097 阅读 · 0 评论 -
基于Hadoop2.6.0的Spark1.3.1大数据处理平台的搭建
基于Hadoop2.6.0的Spark大数据处理平台的搭建目录一、虚拟化软件、实验虚拟机准备4(一)VMware Workstation 114(二)模版机安装4(三)安装VMware tools4(四)安装FTP服务4二、Hadoop与Spark的安装配置4(一)登陆和使用系统4(二)下载和安装jdk-7u795(三)配置...原创 2016-05-08 16:42:40 · 5978 阅读 · 3 评论