Spark
开心自由天使
这个作者很懒,什么都没留下…
展开
-
apache zeppelin 初次使用体验.
Zeppelin 是和Juppter 类似的笔记本工具,支持多种语言,支持spark,scala ,,,,Zeppelin 界面:http://10.20.2.32:8181/#/notebook/2DP1QY3HA Juppter: Zepplin 安装方法: 1. 下载安装 (和spark 的某个节点安装在一起)/var/serv...原创 2018-08-16 21:20:13 · 7645 阅读 · 0 评论 -
如何查看spark版本和scala版本
1.进入命令行状态windows 电脑方法一:在系统桌面左下侧搜索栏输入CMD或者命令提示符,右键点击命令提示符在右键菜单中点击:以管理员身份运行,可以打开系统【管理员命令提示符】窗口。苹果电脑: 打开终端在 Mac 上打开 Finder 窗口,然后在「应用程序」目录中直接搜索“终端”关键字,也可以搜索到;2.在命令行窗口输入,然后回车 java -version,确认你的java...原创 2018-11-21 05:48:29 · 43976 阅读 · 2 评论 -
如何在多个java版本之间随意切换Java环境
软件开发和测试中经常要在不同的Java版本之间来回切换,最常见的是从其他Java版本(Java9,Java10,Java11)切换到Java8, 特别是使用Scala,Spark,目前还只是支持java8,必须切换到java8环境,否则无法正常编译和运行.这个问题,我有个比较好的解决办法:创建一个目录,存放一下java8 java11 2个环境切换脚本./Users/happy/happys...原创 2018-11-21 06:11:09 · 6187 阅读 · 1 评论 -
Scala map中下划线_._2的含义
在研究spark大数据分析时遇到一个很奇怪的语法,如下图蓝色选定的部分.查询了相关资料后,并做了基本测试,确认.map(_._2)的含义如下map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)val p=List((“hello”,35,1.50),(“nihao”,36,1.78))res9: List[(String, Int, Doub...原创 2018-11-21 16:03:22 · 9906 阅读 · 1 评论 -
Spark 集群故障快速排除方法----worker已经启动,但是masterUI上看不到
Spark 集群故障快速排除方法----worker已经启动,但是masterUI上看不到现象:1.确保zookeeper 状态正常echo stat | nc 10.20.2.51 2181echo stat | nc 10.20.2.52 2181echo stat | nc 10.20.2.53 2181echo stat | nc 10.20.2.54 2181e...原创 2018-11-20 01:02:50 · 2605 阅读 · 0 评论 -
Spark应用基础--基础知识 常用样本代码
#创建spark项目mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=spark.examples -DartifactId=JavaWordCount -Dfilter=org.apache.maven.archetypes:maven-archetype-quickst...原创 2018-11-28 11:02:32 · 315 阅读 · 0 评论