- 博客(4)
- 收藏
- 关注
原创 spark-1
简介spark是一个用来实现快速而通用的集群计算平台,扩展了MR,高效的支持了更多的计算模式,包括交互式查询和流处理,可以进行交互式的数据处理,主要特点是可以在内存中进行计算;适用于各种各样的原先需要各种不同的分布式平台的场景,包括批处理,地带算法,交互式查询,流处理;提供了java,scala,python,R的接口,spark可以作为一个组件运行在其他的例如yarn的平台上,当然,也可
2017-09-24 23:07:00 173
原创 scala-2
如果要匹配构造函数,则需要显示定义其伴生对象,并在该对象汇总实现unapply方法;for循环中的匹配,则可以部分匹配,全部匹配,没有匹配的部分需要指定;隐式转换使用implicit 关键字,implicit def xxx(X:Float)=x.toInt)scala默认的隐式转换是默认定义了toString,toInt,toDouble等方法,而且当需要隐式转换时,隐式转换函数名可
2017-09-14 22:22:40 143
原创 scala-1
scala的比较是对于内容的比较;1 to 5==1.to(5)没有break,如果需要break,需要调用scala相应的包;for循环可以后面接yield i来循环遍历返回一个集合,作为一个表达式;var x=for(iscala集合分为可变集合和不可变集合,可变集合在增删改查之后返回的是新的集合;scala中表示所有类不是*,而是_;方法也是对象;
2017-09-14 12:14:35 233
原创 hadoop集群安装思路
这几天试了一下集群的完全分布式,首先是用的是Ambari,装到了最后,在Ambari上host confirm出错了,不知道哪里不对了,后面还要看别的教程上还要下好多东西;在里面装的坑有以下几点:mysql中创建的Ambari用户和Ambari数据库,Ambari的密码不识别,在ambari-server setup时中log中看见的,还有不能识别主机名hmc,而是要写localhost才
2017-09-03 21:58:37 322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人