- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark-1
简介 spark是一个用来实现快速而通用的集群计算平台，扩展了MR，高效的支持了更多的计算模式，包括交互式查询和流处理，可以进行交互式的数据处理，主要特点是可以在内存中进行计算；适用于各种各样的原先需要各种不同的分布式平台的场景，包括批处理，地带算法，交互式查询，流处理； 提供了java，scala,python,R的接口，spark可以作为一个组件运行在其他的例如yarn的平台上，当然，也可
2017-09-24 23:07:00
173
原创 scala-2
如果要匹配构造函数,则需要显示定义其伴生对象,并在该对象汇总实现unapply方法; for循环中的匹配,则可以部分匹配,全部匹配,没有匹配的部分需要指定; 隐式转换使用implicit 关键字,implicit def xxx(X:Float)=x.toInt) scala默认的隐式转换是默认定义了toString,toInt,toDouble等方法,而且当需要隐式转换时,隐式转换函数名可
2017-09-14 22:22:40
143
原创 scala-1
scala的比较是对于内容的比较; 1 to 5==1.to(5) 没有break，如果需要break，需要调用scala相应的包； for循环可以后面接yield i来循环遍历返回一个集合，作为一个表达式； var x=for(i scala集合分为可变集合和不可变集合，可变集合在增删改查之后返回的是新的集合； scala中表示所有类不是*,而是_； 方法也是对象；
2017-09-14 12:14:35
233
原创 hadoop集群安装思路
这几天试了一下集群的完全分布式，首先是用的是Ambari，装到了最后，在Ambari上host confirm出错了，不知道哪里不对了，后面还要看别的教程上还要下好多东西； 在里面装的坑有以下几点： mysql中创建的Ambari用户和Ambari数据库，Ambari的密码不识别，在ambari-server setup时中log中看见的，还有不能识别主机名hmc，而是要写localhost才
2017-09-03 21:58:37
321
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人