2018年08月_worldchinalee

转载 HDFS error：Warning: fs.defaultFS is not set when running “ls” command.

By Adamhuan | 2018年1月28日2 Comments问题如题所示，你可能无法访问到HDFS中的数据。具体如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2...

2018-08-29 14:01:12 4656

原创在Cloudera Manager提交spark任务失败

在hue中配置workflow，提交以后，报如下错误： Log Type: stderr Log Upload Time: Wed Aug 29 10:36:23 +0800 2018 Log Length: 1452 SLF4J: Class path contains mult...

2018-08-29 13:47:20 1413

原创 Cloudera Manager5.14.3集群搭建

一、集群配置域名 ip 硬盘内存 bigdata-01 xx.xx.xx.7 898G系统盘+14.4T数据盘 504G bigdata-02 xx.xx.xx.8 898G系统盘+14.4T数据盘 504G bigdata-03 xx.xx.xx.9 898G系统盘+14.4T数据盘 504G b...

2018-08-27 19:58:40 571

1.文档编写目的本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量，真实要部署的哪些服务，硬件资源，配置，以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时，CM会根据主机的可用资源，自动的分配角色到各台主机，边缘节点除外。你可以在向导中使用”自定义角色分配 - Customize Role Ass...

2018-08-27 15:56:39 774

原创安装Cloudera Manager5.14.3遇到的问题2

安装完集群之后，启动NFS Gateway角色的时候，发现启动不了。查看日志文件Stderr发现如下报错：+ connect_to_port 111+ PORT=111+ python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sy...

2018-08-27 15:36:58 321

原创安装Cloudera Manager5.14.3遇到的问题

/usr/lib64/cmf/service/common/cloudera-config.sh在数据库配置的时候，所有的数据库主机连接都无法通过连接测试，下面这个截图是在网上找的，我的是都不行，检查了一下主机名、数据库、用户名和密码都没有问题。去看了一下cloudera-scm-server的log，目录/var/log/cloudera-scm-server/cloudera-...

2018-08-27 15:22:01 5416

转载网络时间的那些事及 ntpq 详解

Gentoo（也许其他发行版也是？）中 "ntpq -p" 的 man page 只有简短的描述：“打印出该服务器已知的节点列表和它们的状态概要信息。”我还没见到关于这个命令的说明文档，因此这里对此作一个总结，可以补充进 "man ntpq" man page 中。更多的细节见这里 “ntpq – 标准 NTP 请求程序”（原作者），和其他关于 man ntpq 的例子.NTP 是一个...

2018-08-27 14:39:52 3243

原创配置ntp服务

一、安装ntp服务1.在master查看是否启动ntp服务：[root@tdxy-bigdata-03 ~]# service ntpd statusntpd (pid 9284) is running...如果没有安装，使用yum安装：yum -y install ntpd# 安装完成后设置开机启动chkconfig ntpd on[root@tdxy-bigd...

2018-08-27 14:38:58 442

转载 NTP原理及配置使用

NTP原理及配置使用一、NTP简介1.NTP简介 NTP（Network Time Protocol，网络时间协议）是用来使网络中的各个计算机时间同步的一种协议。它的用途是把计算机的时钟同步到世界协调时UTC，其精度在局域网内可达0.1ms，在互联网上绝大多数的地方其精度可以达到1-50ms。(1s=1000ms) NTP服务器就是利用NTP协议提供时间同步服务的。...

2018-08-27 11:48:12 515

转载本地Yum软件源安装Cloudera Manager 5

一、搭建CM的本地Yum软件源CM在线文档中大致讲解了如何搭建本地Yum，参见：Creating and Using a Local Package Repository ，由于兼顾到不同的操作系统和CM版本，描述的不够细致，下面就 CentOS-6.6-x86_64 和 CM5.14.2 版本的本地Yum软件源的搭建步骤进行描述。1、准备工作关闭防火墙：[root@loc...

2018-08-27 10:19:58 829

转载配置NTP服务ntpd/ntp.conf

host1上安装ntp组件yum -y install ntp host1上调整时间这一步为确保host1上的时间与本地时间保持一致，如果可以联网的情况下执行命令 ntpdate 0.centos.pool.ntp.org #该网址为centos网络上的时间同步服务器一般情况下，我们的集群为内网环境，无法和外网进行联网同步之间，那么手动执行命令调整时...

2018-08-24 09:35:00 23538

worldchinalee的博客