![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sark & Hadoop
sisteryaya
机器学习,数据挖掘爱好者
展开
-
scala
····················Scala······································· 1、Scala具有“类型推断”能力,可以自动推断出变量的类型。并输出 2、println() ---------------------------------- 1、一个 val 变量,一旦初始化以后,就不能再次赋值,否则会报错。除非前原创 2017-05-22 10:12:41 · 475 阅读 · 0 评论 -
scala2
----------------------模式匹配 1、 match Scala可以对表达式的类型进行匹配。 for (elem <- List(9,12.3,"Spark","Hadoop",'Hello)){ val str = elem match{ case i: Int => i + " is an int value." cas原创 2017-05-23 21:32:20 · 426 阅读 · 0 评论 -
【转载】大数据Hadoop与Spark学习经验谈
如何学习Spark和Hadoop?大数据的技术框架转载 2017-05-10 11:10:21 · 283 阅读 · 0 评论 -
hadoop
ssh localhost ssh免密登录 ./sbin/start-dfs.sh 启动 hdfs ./sbin/start-yarn.sh 启动 yarn ./sbin/stop-dfs.sh 停止hdfs ./sbin/stop-yarn.sh 停止 yarn 赋权限 chown –R username:use原创 2017-05-16 17:07:50 · 232 阅读 · 0 评论 -
spark
使用scala 有一文本word.txt,现用scala进行行数统计。 1、先要启动 hdfs ,用 jps 查看是否启动成功 2、cd 至 hadoop 的安装目录下 usr/lib/hadoop,将文件 word.txt 复制到我们创建的hadoop用户下,不用 cd 好像也可以 ./bin/hdfs dfs -put ~/Documents/word.txt原创 2017-05-18 20:38:05 · 344 阅读 · 0 评论 -
Ubuntu16.04下Anaconda,spark,Hadoop的安装
最近准备参加天池的比赛,会用到spark,之前在win7上折腾了一番,果断放弃了...准备直接用Linux了。VMware,Ubuntu安装的相关问题,前篇博客有写。 问题1:输入python显示的是python2.7,不能切换至python3.6 1、网上下载Anaconda for Linux,64bit。 2、打开终端:sudo bashAnaconda3-4.3.1-L...原创 2017-04-01 16:25:21 · 5276 阅读 · 0 评论 -
VMware -Ubuntu 安装时遇到的问题
安装问题: 1、下载相关文件,VMware安装很简单。 2、下载ubuntu的ios文件,如果电脑安装的winrar,则取消其ios的关联,ios文件才能正常显示。 3、打开VMware,添加虚拟机,网上教程很多,按着来就行了。 4、安装完成后重启了,ubuntu开机后选择 install ubantu,按其推荐选项完成安装,如果出现界面不能全部显示出来,致使部分按键看不到,则用Tab键。...原创 2017-03-30 21:13:06 · 2166 阅读 · 0 评论