环境搭建
关注
分享
扫一扫
猫不夜行
静水流深，物我两忘
展开
-
基于CDH-6.1.0编译flink-1.11-SNAPSHOT
基于CDH-6.1.0编译flink-1.11-SNAPSHOT编译准备环境：jdk-1.8maven-3.2.5下载flink-1.11安装包git clone --branch master https://github.com/apache/flink.git执行编译命令：mvn -T2C clean install -DskipTests -Dfast -Pinclud...原创 2020-01-16 15:55:30 · 4347 阅读 · 2 评论 -
CDH-5.14.2集群升级Hive-1.1.0至Hive-1.2.1
参考：CDH 5.1.5(parcels)集群中hive1.1.0升级到hive-1.2.1步骤全，升级hive元数据库，数据不丢失（亲测可用）操作步骤：下载hive-1.2.1-bin解压：[root@node01 ~]# cd /opt/software/[root@node01 software]# lsapache-hive-1.2.1-bin.tar.gz ...原创 2020-01-13 15:20:37 · 1660 阅读 · 3 评论 -
CDH-5.14.2添加Hive
1. 分发mysql-connector添加mysql-connector-java.jar包到hive的lib目录下，并分发到每一个节点中（集群分发脚本）[root@node01 ~]# cp /opt/software/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/li...原创 2020-01-03 22:32:42 · 1379 阅读 · 0 评论 -
基于CDH-5.14.2编译Flink1.9.1的安装包
准备工作maven3jdk1.8CDH-5.14.2下载源码包[root@node01 ~]# cd /opt/software/[root@node01 software]# wget http://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-src.tgz[root@node01 software]# t...原创 2020-01-03 09:55:19 · 3805 阅读 · 10 评论 -
CentOS7安装Maven3
下载安装文件cd /opt/software/wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz解压安装tar -zxf apache-maven-3.3.9-bin.tar.gz -C /opt/module/cd /opt...原创 2020-01-03 09:42:58 · 378 阅读 · 0 评论 -
Windows本地运行调试Spark或Hadoop程序失败ERROR util.Shell: Failed to locate the winutils binary in the hadoop...
报错内容ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决方法1. 下载wind...原创 2019-11-19 10:26:00 · 371 阅读 · 0 评论 -
CentOS7设置hostname、hosts、静态IP地址、关闭防火墙
针对新安装或者克隆后的虚拟机配置1. 设置hostname方法1：centos7 里面修改hostname的方式有所改变，修改/etc/hosts和/etc/sysconfig/network两个文件已经不能生效。使用的新命令是：[root@hadoop101 mort]# hostnamectl set-hostname hadoop101.com[root@hadoo...原创 2019-08-13 16:48:00 · 265 阅读 · 0 评论 -
CentOS7安装MySQL5.6
1.安装包准备（MySQL官网下载）（1）查看MySQL是否安装，如果存在就先卸载[root@hadoop101 桌面]# rpm -qa|grep MySQLmysql-libs-5.1.73-7.el6.x86_64[root@hadoop101 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64（2）查看mariad...原创 2019-08-13 17:09:00 · 128 阅读 · 0 评论 -
CentOS7安装jdk1.8
1.卸载现有jdk1）查询是否安装java软件：rpm –qa|grep jdk2）如果安装的版本低于1.7，卸载该jdk：rpm –e 软件包 --nodeps2.拷贝jdk用filezilla工具将 jdk-8u144-linux-x64.gz 导入到opt目录下面的software文件夹下面在linux系统下的opt目录中查看软件包是否导入成功。...原创 2019-08-13 18:11:00 · 166 阅读 · 0 评论 -
CentOS7设置集群环境SSH免密访问
1.准备工作1）通过克隆或者其他方式获得可互相通信的多台节点（本文为3台虚拟机：hadoop101、hadoop102、hadoop103）2）配置节点的静态IP、hostname、hosts，参考：CentOS7设置hostname、hosts（永久更改）、静态IP地址[root@hadoop101 jdk1.8.0_121]# vi /etc/hosts127.0.0.1 ...原创 2019-08-13 21:12:00 · 168 阅读 · 0 评论 -
CentOS7关闭SELINUX
安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。为了避免安装过程出现各种错误，建议关闭，有如下两种关闭方法：1）临时关闭（不建议使用）[root@hadoop101 ~]# setenforce 0但是这种方式只对当次启动有效，重启机器后会失效。2）永久关闭（建议使用）...原创 2019-08-14 10:51:00 · 159 阅读 · 0 评论 -
CentOS7使用集群同步脚本对配置文件同步分发
1.介绍使用集群同步脚本对配置文件同步分发2.操作1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：[root@hadoop101 ~]$ mkdir bin[root@hadoop101 ~]$ cd bin/[root@hadoop101 bin]$ vi xsync在该文件中编写如下代码（其中第5步需要按自己集群情况配置分...原创 2019-08-14 11:00:00 · 454 阅读 · 0 评论 -
CM使用MySQL数据库预处理scm_prepare_database.sh执行报错：java.sql.SQLException: Access denied for user 'scm'@'...
1.报错提示：[root@hadoop101 ~]# /opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p000000 --scm-host hadoop101 scm scm scmJAVA_HOME=/opt/module/jdk1.8.0_1...原创 2019-08-14 16:00:00 · 1054 阅读 · 0 评论 -
CentOS 7安装Python 2.6（与已有版本共存）
1.安装需要用到的包yum install -y zlib-devel bzip2-devel openssl-devel xz-libs wget2. 下载 Python 2.6.8 版本wget https://www.python.org/ftp/python/2.6.8/Python-2.6.8.tgz3.解压文件tar -xzvf Python-...原创 2019-08-14 20:45:00 · 790 阅读 · 0 评论 -
CentOS7创建本地源过程
1）使用yum安装http服务（主节点）yum -y install httpd2）将httpd服务加入系统自启动服务并设置开机启动systemctl start httpd #启动apache服务器systemctl stop httpd #关闭apache服务器systemctl enable httpd #设置开机自动启动systemctl st...原创 2019-08-16 19:31:00 · 195 阅读 · 0 评论 -
部署CM集群首次运行报错：Formatting the name directories of the current NameNode.
1. 报错提示Formatting the name directories of the current NameNode. If the name directories are not empty, this is expected to fail.2. 问题原因之前的namenode格式化了，所以这次不能格式化，需要把原来格式化的删除。3. 解决方法1）在/...原创 2019-08-16 20:14:00 · 138 阅读 · 0 评论 -
大数据平台CentOS7+CDH5.12.1集群搭建
1.CM（Cloudera Manager）介绍1.1 简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。对比Apache / CDH / HDP：（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力...原创 2019-08-16 21:29:00 · 300 阅读 · 0 评论 -
CentOS7安装SVN1.9.12
检查卸载原有的svn svn --version # 检查是否原有svnyum remove svn # 卸载原有svn 安装依赖： apr-1.6.5mkdir /opt/software/svnpackagecd /opt/software/svnpackagewget http://mirror.bit.edu.cn/apache/ap...原创 2019-10-27 17:05:00 · 408 阅读 · 1 评论 -
CentOS7安装Git-2.22.1
1.Git：分布式版本控制系统（最初用于Linux），每个人的电脑上都是一个完整的版本库，具有强大的分支管理。 自己可以在脱机环境查看开发的版本历史 多人开发时如果充当中央仓库的Git仓库挂了，任何一个开发者的仓库都可以作为中央仓库进行服务 2.对比SVN：集中式版本控制系统 所有人都将代码提交至“中央仓库” 一旦服务器有问题，就算找到一个最新的代码上...原创 2019-10-27 20:43:00 · 275 阅读 · 0 评论 -
CDH5.14安装Spark报错：Error: JAVA_HOME is not set and could not be found.
安装spark过程报错：Error: JAVA_HOME is not set and could not be found.排查java是否装好：[root@node02 module]# java -versionjava version "1.8.0_91"[root@node02 module]# exportdeclare -x CLASSPATH=".:/*/*...原创 2019-11-26 13:06:41 · 1125 阅读 · 0 评论 -
解决ntp时间同步在重启后失效
虽然配置了开机自动启动，但是在系统重启后，ntp时间仍然同步失效。查看ntp服务状态：[root@hadoop1 etc]# service ntpd statusRedirecting to /bin/systemctl status ntpd.service● ntpd.service - Network Time Service Loaded: loaded (/usr/li...原创 2019-12-05 11:58:17 · 11090 阅读 · 1 评论 -
CentOS7内网搭建集群NTP服务器及客户端同步时间
一、服务器配置1、查看服务器、客户端操作系统版本[root@hadoop101 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) 2、查看服务器是否安装ntp，系统默认安装ntpdate；[root@hadoop101 ~]# rpm -qa | grep ntpfontpackages-...原创 2019-08-15 11:55:00 · 549 阅读 · 0 评论