Linux
文章平均质量分 63
小白白白又白cdllp
数据挖掘,数据分析,数据市场
展开
-
Linux中Python和pip的安装及“AttributeError:module 'pip.__main__' has no attribute '_main'错误”
(作者:陈玓玏)最近开始倒腾Linux了,安装好Linux之后的第一步就是安装Python了。不过Linux系统在这方面特别友好,因为它是自带了Python的,原创 2018-08-18 23:31:28 · 18042 阅读 · 1 评论 -
Spark安装中遇到的JAVA_HOME is not set和Name or service not known错误
(作者:陈玓玏)一、 JAVA_HOME is not set场景:使用java命令或通过spark-shell启动spark时出现JAVA_HOME is not set的错误。原因:设置了linux环境变量后,未立即生效,导致设置的路径查找不到。解决方案:需要执行source /etc/profile,即使你不是改动的/etc/profile文件中定义的环境变量,而是改动的其他环境设置...原创 2018-12-03 21:08:56 · 2216 阅读 · 0 评论 -
Linux中使用pip安装库时出现Aborted (core dumped)问题解决方案
(作者:陈玓玏)在Linux中安装上pip后,通过pip install安装python库时出现这个问题:root@DZG0370:/mnt/c/Windows/System32# pip3 install pandasDownloading/unpacking pandaspython3: ../sysdeps/posix/getaddrinfo.c:2591: getaddrinfo:...原创 2018-12-08 17:07:59 · 4489 阅读 · 0 评论 -
Linux下通过源码安装大规模稀疏性数据机器学习库xlearn(支持LR、FM、FFM)
(作者:陈玓玏)因为想尝试一下FM算法,所以在网上找了很久的开源库,找到了这个xlearn。这个是北大的肖臻研究员和马超博士他们课题组一起开发的,17年才发布,是用C++写的,还没有发布windows版本,只有Linux和mac能用。github下载地址:https://github.com/aksnzhy/xlearn中文文档:https://xlearn-doc-cn.readthedo...原创 2018-12-08 17:07:11 · 971 阅读 · 0 评论 -
Linux下安装单机版Spark并使用scala和python
(作者:陈玓玏)只学习spark,还不学分布式的时候,可以先单机装spark,这时候不需要用到hadoop的,但是仍然需要java环境,所以要先安装java的jdk。1、 下载并安装java jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 地址,下载一样的位置,...原创 2018-11-02 20:36:10 · 3653 阅读 · 0 评论 -
Linux下编译xgboost的C++源码并执行单步调试
(作者:陈玓玏)一、编译xgboost源码依次在命令行输入以下命令,即可成功编译xgboost源码,编译成功后将生成可执行文件xgboost:$ git clone --recursive https://github.com/dmlc/xgboost --克隆$ cd xgboost --在xgboost目录下编译$ make -j4 --编译,会生成可执行文件xgboost,-...原创 2018-10-17 22:28:02 · 2537 阅读 · 0 评论 -
Linux中修改docker镜像源的方法及原因
(作者:陈玓玏)1、给我一个必须修改镜像的理由安装好docker后,意欲试用一下docker,于是输入sudo docker run hello-world,结果提示:Unable to find image 'hello-world:latest' locallydocker: Error response from daemon: Get https://registry-1.d...原创 2018-08-25 22:40:04 · 8550 阅读 · 1 评论 -
Docker基于现有镜像构建新镜像
(作者:陈玓玏)由现有镜像构建新镜像都是通过Dockerfile文档来实现的。1、新建Dockerfile文档在/home文件夹下新建一个文件夹,专门用来测试的,/docker/test文件夹,在文件夹中新建一个Dockerfile文档,文档中写入以下内容:FROM ubuntu:18.04RUN apt-get updateRUN apt-get ...原创 2018-08-28 23:15:36 · 7886 阅读 · 0 评论 -
通过镜像在Docker中搭建一个自己的系统
(作者:陈玓玏) 我们要模拟的系统是以镜像为基础的,镜像是类,容器是实例,我们必须以一个标准的系统为基础,创建一个容器,然后在这个容器上安装各种软件,形成一个自己的虚拟系统,你可以把这个容器打包成一个镜像,今后各种测试就都可以很方便地在这个镜像上实现啦。1、首先进入管理者模式:su root2、安装Ubuntu镜像:18.04这个版本好用。docker pull ub...原创 2018-08-30 22:44:13 · 1449 阅读 · 0 评论 -
Linux下设置当前用户享有root权限
(作者:陈玓玏)一、给用户开sudo权限在部署hadoop的时候,通过./sbin/start-dfs.sh自动启动datanode那些一直不成功,总是叫我输密码,虽然我自己觉得可能是我免密登录设置不成功,但网上有小哥哥/小姐姐说是因为权限问题,因为没给我的用户开root权限,于是在/etc/sudoers文件中为我自己添加权限如下,也就是给这个DZG0370用户添加所有的root权限,但是是...原创 2018-12-09 17:27:55 · 9418 阅读 · 2 评论