![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
data大柳
在大数据的海洋,一条大汉在裸泳,游得飞快(∩_∩)
展开
-
报错解决:PermissionError
在linux环境中安装jupyter notebook的时候遇到的错误,记录一下。PermissionError: [Errno 13] Permission denied: '/run/user/1002/jupyter'解决办法:chmod 777 -R /run/user/1002原创 2021-03-22 20:30:19 · 1220 阅读 · 0 评论 -
linux创建虚拟环境(python虚拟环境)
解决问题1:为便于对包进行管理,多个python项目需要使用独立的python环境,这样便于进行包的管理,利用Anaconda来创建一个干净的python虚拟环境解决问题2:在提交代码到yarn模式的时候,会出现诸如类似如下报错。ImportError: No module named numpy第一步:安装Anaconda。系统中首先需要安装的有anaconda,然后才可以使用conda命令,此步骤是为了用conda命令。下载。下载途径可以选择从官网下载,但速度很慢。建议使用清华大学开源软件原创 2020-12-25 20:34:32 · 10398 阅读 · 5 评论 -
一篇文章搞懂linux系统目录结构
根目录和家目录介绍Linux目录和Windows目录有着很大的不同,Linux目录类似一个树,最顶层是其根目录,如下图:/ 代表的是根目录,根目录是在最顶端的目录,是树状形式目录的根,只有一个根目录,是所有用户都可以操作的~ 代表是home目录,也就是家目录,家目录用户需要有权限才能操作(管理员可以分配权限),用户登录后在 家目录 ,可用pwd命令查看,普通用户家目录为 /home/用户名,root用户家目录为/root ,家目录是在根目录里面/home 用户主目录的基点,比如用户hadoop的原创 2020-12-23 14:13:41 · 1149 阅读 · 0 评论 -
超详细:linux知识及常用命令
1 基本操作命令1.1 系统的关机、重启和退出系统关机或者重启需谨慎。日常工作中通常服务器上无时无刻不在运行着服务,很少遇到关机的操作。但重启和关闭系统作为其诸多风险操作中的一例,有时需要关机或者重启。系统重启和关闭之始,会通知所有已登录的用户和进程。如果使用了时间参数,系统将拒绝新的用户登入。使用下列命令执行关机或者重启。shutdown、halt、poweroff、reboot 命令:用来停机、重启或切断电源init 命令:是 “initialization” 的简称systemctl 命原创 2020-09-09 19:28:49 · 702 阅读 · 1 评论 -
pyspark安装系列(3):linux系统远程客户端操作jupyter notebook(详细)
前言:前两篇文章详细介绍了如何在Linux系统安装单机版Spark,以及如何实现在spark里操作Anaconda,具体见链接:Linux系统安装单机版SparkSpark里使用Anaconda配置及实现说明:有了spark的计算环境,可以操作anaconda了,在Python shell中写代码,然后在word中写文档来做记录和说明。通常是写完代码,再写文档的时候我还得重头回顾一遍代码...原创 2020-04-03 15:43:31 · 759 阅读 · 0 评论 -
pyspark安装系列(1):Linux系统安装单机版Spark
背景最近要开发智能推荐引擎,后期系统需要搭载在Spark集群上,前期要开发相关脚本,需要一个测试环境,所以向公司申请了一台主机,平台是Linux,操作系统CentOS,背景交代完毕,现在需要在单机Linux主机上部署Spark。准备:JDK:1.8Spark:2.4.5Linux系统平台:本文所用Linux版本为CentOS 7步骤第一步:下载并解压JDK首先去Oracle官网现在...原创 2020-03-31 20:30:10 · 2937 阅读 · 3 评论