- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark实战 - 1 - 配置和运行
直接跳去想看的建立Scala项目我的第一个Spark应用本文所用的ide是scala eclipse，传送门数据集用的是MovieLens的ml-100k, 传送门以后会加入intellij idea的配置……建立Scala项目进入eclipse ide后，点击左上角的icon，然后点击Scala Project建立Scala Project，输入Project name，我用的都是ScalaSparkLearningJRE记得要选对，选择你自己的机器上的JRE，然后__fini
2020-05-28 10:28:41
142
原创 本地使用堡垒机做Proxy，然后登录目标服务器，新技能get！
直接跳去想看的列出服务器的信息先配置ssh config文件登录目标服务器我一直在部署的时候使用的方法都是登录堡垒机，然后再登录目标服务器。但是一方面不安全，我的key文件需要存在堡垒机。另一方面，我需要在目标服务器设置firewall rule + 用户和用户组这个方法只使用于__mac/linux__系统好麻烦！但是今天学习了新的技能，我们来看看。列出服务器的信息先如下是个示例，服务器名，用户名@ip_address，key文件JUMPHOSTjumeruser@3.0.0.1
2020-05-28 10:02:12
990
原创 什么是Spark？
直接跳去想看的第一次接触Spark先看看Spark的运行架构。Spark ContextCluster ManagerExecutorSpark 为啥这么快？？支持语言RDD - Resilient Distributed Dataset听说Spark也有很多组件？Spark StreamingSpark SQLML LibGraphX总结一下第一次接触Spark最近在学习大数据框架，现在终于学到了Spark。到底什么是Spark？“is a unified analytics engine fo
2020-05-28 09:56:57
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人