2017年08月_slibra_L

原创搭建hadoop：配置ambari中的各种坑

有朋友说安装好ambari后，hadoop的配置基本算是成功了，但是在配置ambari时还是不断报错 1、无法连接目标主机解决方法：将centos001改为centos001.hadoop，一定要写成这样的格式 2、公钥错误解决方法：将RSA改成DSA另外：不要安装ambari中自带spark，最好之后自己安装spark

2017-08-31 14:39:32 1224

原创搭建hadoop：配置ambari中SQL数据库

1、下载安装mysqlwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmsudo rpm -ivh mysql-community-release-el7-5.noarch.rpmsudo yum install mysql-server创建初始密码：一定要字母+数字! 修改密码方法：

2017-08-31 14:13:56 683

原创 hadoop搭建过程中设置NTP时间服务器

hadoop搭建过程中，必须保证集群内所有主机的时间同步，由于手册中的设置方法略显复杂，以下为一个简单的配置方法：**把hadoop01.com这台服务器配置为时间服务器**其他服务器来同步我们这台时间服务器centos001.hadoop**目的：使所有服务器时间一致[三台服务器 root用户]# date -R 检查系统当前时区 Fri, 03 Mar 201

2017-08-30 15:04:31 2025

原创 hadoop搭建时配置SSH免密登陆，解决RSA无法使用问题

由于配置手册中的免密登陆配置略显复杂，所以找到了一个相对简单的配置方式1、生成RSA公钥$ ssh-keygen -t rsa 一直回车生成一对公用密钥$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/beifeng/.s

2017-08-30 14:55:29 955

原创 hadoop搭建过程中设置FQDN(完全限定域名)

通过vim /etc/hostname设置主机名，如下图所示：三台服务器，/etc/hostname的内容分别如下：centos001.hadoop centos002.hadoop centos003.hadoop通过vim /etc/hosts设置hosts文件内容，集群内各节点/etc/hosts文件统一配置为：172.16.90.44 centos001.hadoo

2017-08-28 14:07:40 1719

原创 docker从阿里云仓库上传下载镜像

登录阿里云docker registry:$ sudo docker login --username=【你的阿里云账号全名】 registry.cn-hangzhou.aliyuncs.com登录registry的用户名是您的阿里云账号全名，密码是您开通namespace时设置的密码。你可以在镜像管理首页点击右上角按钮修改docker login密码。从registry中拉取镜像

2017-08-28 10:00:27 1514

原创 windows中docker编写一个dockerfile文件

Dockerfile文件描述了当我们启动镜像的时候需要哪些软件元素。除了软件元素之外，Dockerfile还能够让我们能够在启动镜像的时候在容器中运行一些命令或者指明我们使用什么样的环境。使用虚拟机中的vim命令编写dockerfile不太方便，在windows中可以使用记事本编辑。(1) 在终端（CMD）中输入cd Desktop 转到桌面(2) 输入 mkdir testd

2017-08-24 09:41:14 4165 2

原创 windows7下docker配置镜像加速

国内访问Docker Hub速度十分慢，下载镜像的过程中经常因为网速太差导致下载失败，所以配置镜像加速是很有必要的，操作手册中的配置方法如下：在Docker的配置“Demon”中，在“Registry mirrors”下添加：https://registry.docker-cn.com 然而按上述步骤无法完成加速配置，经过查阅资料，找到另一种镜像加速的方法：1、在http:

2017-08-23 13:45:47 10245

原创 windows下anaconda（Python）中xgboost的安装

之前安装xgboost走了不少弯路，现在终于配置好了，想在这里写一下可能出现的坑，经测试windows7和windows10下均可以使用1、首先在我的网盘里下载编译过的xgboost，https://pan.baidu.com/s/1hs48Hhy2、然后解压到E:\anaconda2\Lib\site-packages文件夹下，如果没有用anaconda，那么就解压到\python2.7...

2017-08-23 10:20:16 8235 4

slibra_L的博客