- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 十:WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
在spark on yarn 上提交任务是,报错如下:这是Spark的一个优化点:WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.INFO yarn.Client: Uploading re...
2018-12-25 21:35:52 7323 1
原创 九:Operation category READ/WRITE is not supported in state standby解决案例
1:问题现象:在IDEA写好程序并打包传到hadoop001上去执行的时候,统计不成功,报如下异常:各文件目录如下:log.sh :/home/hadoop/shellG5-Spark-1.0.jar :/home/hadoop/lib2:处理过程2.1依据提示找到相应问题解答:在启用ha的集群中,DFS客户端无法预先知道在操作的时刻哪个NameNode处于活动状态。因此...
2018-12-18 17:44:26 16696
原创 八:Scala单词统计及模拟log生成
一:单词统计:统计本地文件里单词的数量:第一:要去读到这个文件,并转换成sacal里的数据结构,便于处理;第二:要对单词进行分割,压平,放到第三:对单词进行映射,并分组;第四:在组内求和;第五:转换成List,便于排序。最终结果就两条代码搞定,但是对于第一次写,没有其他参考,一个人想破脑袋也无法完成,因为所学到的东西当前还不系统,都没那么深入,只能边实践边摸索,边总结;用多了,自然就...
2018-12-16 11:16:08 413
原创 七:Array/List实操比较-Map需要留意地方
目录:1、数组实操2、List实操:3、Array和List区别:4、Map实操:5、其他列表1、数组实操1.1、定长数组//定义scala> val a =new Array[Boolean](5)a: Array[Boolean] = Array(false, false, false, false, false)scala> val a =new A...
2018-12-08 19:54:19 104
原创 六:Scala学习-面向对象及继承伴生:
目录:*1:Scala面向对象*2:构造器:*3:继承:1、Scala面向对象:类里面定义的val,new新对象的时候也是不能更改的,用占位符的时候,需要在前面加上具体的数据类型,否则推导不出来:private[this]后类里面的属性是私有化的,在类外面不能被调用:object SimepleObjectApp { def main(args: Array[String]):...
2018-12-08 11:09:17 156
原创 五:Scala学习之-函数定义及数据类型
内容:1::val和var区别:2: Scala必学数据类型:3:运算符优先级:4:函数的定义:5:几个重要表达式:1:val和var区别:数据类型第一字母必须大写,val是值类型,内容不允许变更,var 是可变类型,内容可更新;变量类型可自动推导,定义时候可省。scala> ~~val money:int = 10000~~ <con...
2018-12-06 22:40:49 504
5-投诉案例.ppt
2015-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人