![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Maertin Romber
工作ing
展开
-
Ubuntu18 安装ssh
1.安装ssh 在终端输入命令: sudo apt-get install openssh-server 2.查看SSH服务是否启动 输入命令 sudo ps -e |grep ssh原创 2018-10-14 09:37:50 · 4962 阅读 · 0 评论 -
Ubuntu18配置ssh免密登录
安装配置 sudo apt-get install openssh-server cd ~/.ssh/ # 若没有该目录,请先执行一次 ssh localhost ssh-keygen -t rsa # 会有提示,都按回车就可以 cat id_rsa.pub >> authorized_keys # 加入授权 使用ssh localhost试试能否直接登录 ...转载 2018-10-14 09:44:14 · 5120 阅读 · 0 评论 -
配置Hadoop环境
1.编辑profile文件 export JAVA_HOME=/usr/lib/jvm/jdk/ export HADOOP_INSTALL=/sur/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOO...原创 2018-10-19 10:24:18 · 231 阅读 · 0 评论 -
windows系统快速搭建pyspark环境(Anaconda)炒鸡简单
刚开始我尝试在Windows系统和Ubuntu系统单独配置spark hadoop ,发现很是复杂,尤其在环境配置等方面总是出现一些问题不好解决,所以我采用了另一种思路,发现特别快速和简介,相比和我一样想快速使用spark的小伙伴都已经迫不及待了! 总体思路是首先下载anaconda,然后再用anaconda下载pyspark,然后一切就完成了! 1.下载Anaconda 此篇只尝试了win...原创 2018-11-05 17:07:41 · 2959 阅读 · 8 评论