最近学习spark,课程里介绍用到Anaconda3来做开发工具,今天就来安装配置一下
1、安装配置Anaconda3
首先我们去Anaconda官网下载安装包 这里我们下载windows 64位版本
https://www.anaconda.com/products/individual#Downloads
下载后我们双击安装,注意这里选择的安装路径不要有空格和中文字符
这里环境变量我们不要勾选,稍后自己配置,
接下来一步步完成安装即可。
安装完成后我们先不要启动Anaconda3,因为环境变量还没好 python环境也是不生效的,我们打开系统属性,找到pyth配置一下变量,我们在末位追加变量即可,注意每个变量用分号(;)间隔,添加的变量如下
;D:\ProgramData\Anaconda3;
D:\ProgramData\Anaconda3\Scripts;
D:\ProgramData\Anaconda3\Library\bin;
D:\ProgramData\Anaconda3\Library\mingw-w64\bin
添加完变量确定后,我们打开一个cmd窗口,测试下python环境,已经可以正常使用
在cmd中输入 :conda --version,conda info —查看是否有conda环境
打开Anaconda Navifator
接下来我们增加国内镜像 ,我们就用常用的清华源
在Anaconda prompt中操作:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
下图是打开Anaconda prompt
输入上面3条命令
查看是否修改好通道 conda config --show channels
至此,我们完成了安装和配置的所有内容,接下来我们进入主菜环节,配置spark
2、安装 Jupyter
Jupyter notebook 是一个交互式的 Web 笔记本应用,可以支持多种编程语言,事实上 Anaconda+Jupyter notebook 已经是数据分析的常用环境了。那么 Jupyter notebook 还有一个非常适合的场景,就是教育,它的笔记本特性可以非常好地将学习过程固化。由于前面我们已经安装好了 Anaconda,所以安装 Jupyter notebook 只需要执行下面2条命令:
pip install --upgrade pip
pip install jupyter
这里我执行pip升级中断了,导致报下面的错误
Script file 'D:\ProgramData\Anaconda3\Scripts\pip-script.py' is not present.
问了度娘,需要用easy_install重装pip,试了不行,最终找到的办法如下
在Anaconda prompt执行
conda install pip
完美修复pip
我们继续安装 jupyter 执行 pip install jupyter
接下来是安装pyspark
pip install --default-timeout=50000 -U pyspark
安装成功如下
接下来我们启动 Jupyter notebook
首先建立notebook的工作目录,我这里是D:\JupyterWorkspace
然后我们运行下面命令创建配置文件
jupyter notebook --generate-config
接下来我们生成一个登录密码
jupyter notebook password
执行后输入2遍密码,这个会在c盘生成一个配置文件,里面有加密的密码
然后执行下面命令启动notebook
jupyter notebook --ip=0.0.0.0 --notebook-dir='D:\\JupyterWorkspace'
输入前面设置的密码登录,就进入笔记了
3运行测试代码
我们新建一个笔记,输入下面代码,输出了1加到10的结果55
总结
感谢能看到这里的朋友😉
本次的分享就到这里,猫头鹰数据致力于为大家分享技术干货😎
如果以上过程中出现了任何的纰漏错误,烦请大佬们指正😅
受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏
也可以搜索关注我的微信公众号【猫头鹰数据分析】,留言交流🙏