![](https://img-blog.csdnimg.cn/86e1384ca7b34b0e982e00eacd8486b7.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
▼安装
文章平均质量分 74
梦的开始,以安装开头
脸ル粉嘟嘟
BigDate.我命由我!
展开
-
Hive之HPLSQL安装手册
解压下载的hplsql-0.3.31.tar.gz压缩包,(注意。文件,后面只需要配置这俩个文件),上传到集群。(根据自己库表来查询测试)测试成功说明连接成功。原创 2023-06-07 10:11:05 · 562 阅读 · 0 评论 -
windows下火狐浏览器中配置kerberos客户端
1.环境1.操作系统:windows2. CDH版本信息: 5.16.2-1.cdh5.16.2.p0.83.浏览器:火狐浏览器4.kdc客户端:kfw-4.1-amd642.安装火狐浏览器与kdc2.1 火狐浏览器略2.2 Kdc双击安装包,点击下一步,点击第一个.继续下一步进行安装即可,最后弹出是否重启电脑,先点击[NO],等配置完其他信息之后重启电脑.3.环境变量注意 需要在java环境变量前面右击[我的电脑]之后点击[属性],再点击[高级系统设置] 进入环境变量配置界面原创 2022-01-01 12:14:26 · 2501 阅读 · 0 评论 -
卸载kerberos
1. 关闭KDC服务systemctl stop krb5kdcsystemctl stop kadmin2卸载(所有节点)注意:版本信息根据实际情况修改rpm -e krb5-devel-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-libs-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-workstation-1.15.1-18.el7.x86_64 --nodepsrpm -e libkadm5-1.15.1-1原创 2022-01-01 11:41:50 · 3494 阅读 · 0 评论 -
CDH禁用kerberos
1.停止服务登录CM,点击[停止]2.Zookeeper进入zookeeper配置界面,在输入框中填入[Enable kerberos] 进行搜索.启用Kerberos身份验证:取消勾选Enable Server to Server:取消勾选3.HDFS进入hdfs配置界面3.1 关闭安全认证在输入框中填入[hadoop.security.auth] 进行搜索.hadoop安全授权:取消勾选Hadoop安全身份验证:simple3.2 目录权限在输入框中填入[dfs.data原创 2022-01-01 11:35:48 · 2398 阅读 · 0 评论 -
CDH5安装Kerberos认证
BUGBUG写在前面:Kerberos 1.15.1-18.el7.x86_64 版本有BUG,不要安装这个版本!!!!如果已安装上面描述版本不要怕,这里有一篇解决方案升级kerberos1.系统环境1.操作系统:CentOS Linux release 7.5.1804 (Core)2. CDH: 5.16.2-1.cdh5.16.2.p0.83. Kerberos:1.15.1-50.el7x864.采用root用户进行操作2.KDC服务安装及配置2.1.安装KDC服务在Cloude原创 2021-12-30 11:06:56 · 1621 阅读 · 0 评论 -
升级kerberos
1 介质压缩包中包含下面文件2 关闭KDC服务systemctl stop krb5kdcsystemctl stop kadmin3 查看当前版本在kdc安装所在机器上面执行下面脚本rpm -qa | grep krb54 卸载(所有节点)rpm -e krb5-devel-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-libs-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-workstation-1.原创 2021-12-30 11:03:37 · 1792 阅读 · 0 评论 -
Linux下Flume的安装
Linux下Flume的安装一、前置条件Flume 需要依赖 JDK 1.8+,JDK 安装方式见本仓库:Linux 环境下 JDK 安装二 、安装步骤2.1 下载并解压下载所需版本的 Flume,这里我下载的是 CDH 版本的 Flume。下载地址为:http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flum...原创 2019-10-28 17:14:47 · 322 阅读 · 0 评论 -
apache-hive-1.2.1-bin 安装
技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...原创 2019-01-14 19:52:38 · 433 阅读 · 0 评论 -
Hadoop集群单机伪分布搭建
1.前提准备关闭防火墙:1. 永久性生效(这里需要重启机器才能生效 reboot)开启:chkconfig iptables on关闭:chkconfig iptables off(推荐)2. 即时生效,重启后失效开启:service iptables start关闭:service iptables stop3.查看状态service iptables statusJava...原创 2019-01-21 12:11:28 · 170 阅读 · 0 评论 -
zookeeper完全分布式安装
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。原创 2019-01-15 18:38:46 · 239 阅读 · 0 评论 -
5台机器搭建HA步骤与注意事项
HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。原创 2019-01-15 19:18:40 · 2499 阅读 · 4 评论 -
zookeeper单机与伪分布式安装与配置
一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径,并修改文件权限 tar -zxvf zookeep...原创 2019-01-27 09:45:49 · 314 阅读 · 0 评论 -
CentOS7搭建Hadoop3.1.1的HA详细步骤
最近负责的项目准备上大数据平台存储,主要还是围绕Hadoop平台来实现,虽然打算上cdh版本的hadoop,但是为了前期方便开发还是先使用原声的hadoop进行开发,后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的,如果需要使用其他用户操作,注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...转载 2019-01-27 20:26:58 · 681 阅读 · 3 评论 -
安装CentOS6.8并配置网络图文解说亲测全过程
安装环境:本文是在win10系统安装上VMWare并配置Centos6.8虚拟机。准备工作1.安装VMWare虚拟机1.1下载VMWare12资源链接:https://pan.baidu.com/s/1AhfMSDXLO-aA0eMqnuMWHg 提取码:iftd1.2安装VMWare,在安装过程中需要输入密钥,填写下面密钥即可,傻瓜式安装。5A02H-AU243-TZJ49-GTC7...原创 2019-01-16 19:27:08 · 1342 阅读 · 0 评论 -
Kafka部署
搭建环境Zookeeper-3.4.6Scala-2.11Kafka_2.11-0.10.0.1.JDK-1.8下载地址:Zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/current/Scala:http://www.scala-lang.org/download/2.11.8.htmlKafka:http://ka...原创 2019-03-07 13:33:48 · 121 阅读 · 0 评论 -
Linux下JDK安装
Linux下JDK的安装系统环境:centos 7.6JDK 版本:jdk 1.8.0_201. 下载并解压在官网 下载所需版本的 JDK,这里我下载的版本为JDK 1.8 ,下载后进行解压:[root@ luya03]# tar -zxvf jdk-8u201-linux-x64.tar.gz2. 设置环境变量[root@ luya03]# vi /etc/profile...原创 2019-08-05 13:05:41 · 169 阅读 · 0 评论 -
最详细Flink安装以及案例之WordCount
前言:本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互(如HDFS或者HBase),请选择一个与你的Hadoop版本相匹配的Flink包。...原创 2019-01-23 19:21:10 · 2721 阅读 · 0 评论 -
MapReduce集群搭建
概述MapReduce运行在Hadoop集群上。但MapReduce是通过另外一批进程来运行的。HDFS的进程名是NameNode、SecondaryNameNode和DataNode;而MapReduce的进程名(可以通过JPS命令查看)是:ResourceManager:数据计算资源的总体管理者,地位相当于NameNode。NodeManager:执行计算的节点,地位相当于Data...原创 2018-10-09 22:04:59 · 810 阅读 · 0 评论 -
hadoop单机伪分布安装HBase-1.4.8详细步骤(亲测成功)
---------前提:安装hadoop、yarn、jdk1.下载解压1.1使用wget下载wget http://archive.apache.org/dist/hbase/1.4.8/hbase-1.4.8-bin.tar.gz 1.2解压到/usr/local目录下tar -zxvf hbase-1.4.8-bin.tar.gzmv hbase-1.4.8 /...原创 2018-10-23 21:36:10 · 1779 阅读 · 0 评论 -
mysql下载与安装过程
1:下载MySql 官网下载地址:https://dev.mysql.com/downloads/mysql/ 选择对应的下载文件。(我电脑是64位,所以这下载的是64位的下载文件) 2:安装MySql 打开下载文件解压到指定文件目录。(我这里解压目录为D:\mysql-5.7.21-winx64) 打开解压后的MySql文件在根目录下创建my.ini (mysql配置...转载 2018-08-07 16:45:51 · 473 阅读 · 0 评论 -
CentOS6.8卸载与安装yum
1.卸载yum1.1查看已安装的yum包 rpm –qa|grep yum1.2卸载yumrpm -aq|grep yum|xargs rpm -e –nodeps-nodeps似乎是忽视依赖关系删除--------------------------------------------------2.安装yum2.1.下载yum所需的包推荐网址:http:/...原创 2018-09-27 22:25:01 · 4801 阅读 · 3 评论 -
史上最详细的Hadoop环境搭建
传送带:史上最详细的Hadoop环境搭建转载 2018-09-25 21:04:39 · 134 阅读 · 0 评论 -
使用VMware安装CentOS7详请
下面开始介绍安装CentOS7图文解说过程,想看安装CentOS6的点击这里准备资料: CentOS-7-x86_64-Everything-1611 点击下载CentOS对,资料就这些。第一步、 点击文件 再点击新建虚拟机第二步 、点击完新建虚拟机之后会跳出一个窗口 我一般都选择典型的因为比较方便 然后下一步第三步、第四步、版本这里需要注意...转载 2018-09-03 11:22:28 · 105 阅读 · 0 评论 -
使用CentOS6.8搭建Hadoop集群
概述:集群cluster,能将很多进程分布到多台计算机上;通过联合使用多台计算机的存储、计算资源完成更庞大的任务。为了实现无限量的存储和计算能力,在生产环境中必须使用集群来满足需求。注意事项:1)集群中的计算机在时间上要同步,系统时间不能差太多(约30秒内),如果设置时间后重启时间又不准确了(可能是主板电池老化),可以启用NTP(Network Time Protocol网络时间...原创 2018-09-29 09:23:28 · 2292 阅读 · 0 评论 -
CentOS6安装hive-2.1.1
hive 这里简单说明一下,好对大家配置hive有点帮助。hive是建立在hadoop上的,当然,你如果只搭建hive也没用什么错。说简单一点,hadoop中的mapreduce调用如果面向DBA的时候,那么问题也就显现了,因为不是每个DBA都能明白mapreduce的工作原理,如果为了管理数据而需要学习一门新的技术,从现实生活中来说,公司又需要花钱请更有技术的人来了。hive ...原创 2018-11-02 20:36:35 · 486 阅读 · 2 评论 -
CentOS6环境下安装sqoop详细步骤以及测试成功
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4....原创 2018-10-18 12:55:50 · 753 阅读 · 0 评论 -
sqoop安装并配置连接数据库
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz3在/etc/profile下配置sqoop的环境变量Vi /etc/profile...原创 2018-10-15 19:41:45 · 1006 阅读 · 0 评论 -
单机伪分布集群搭建
单机伪分布:用一个节点模拟集群好处:方便测试,开发,占用资源小搭建方法:第一步:修改slaves文件,将master(主机名)写入文件中。第二步:修改hdfs-site.xml文件,将文件的副本数改成1(副本数小于等于节点数)。<property> <name>replication</name> <value...原创 2018-10-08 21:27:46 · 255 阅读 · 0 评论 -
windows安装MySQL详细图解过程
MySQL安装图解前言:下载地址 链接:https://pan.baidu.com/s/1BMzQmMcZMCvixKBsnCkFrw 提取码:tec2 一、MYSQL的安装1、打开下载的mysql安装文件mysql-5.5.27-win32.zip,双击解压缩,运行“setup.exe”。 2、选择安装类型,有“Typical(默认)”、“Complete(完全)”、...原创 2018-11-24 12:27:30 · 234 阅读 · 0 评论 -
Spark 开发环境搭建
1.创建maven工程创建project--Java创建module--maven2.添加依赖<dependencies> <!--spark依赖--> <dependency> <groupId>org.apache.spark</groupId> <...原创 2018-11-14 17:38:49 · 350 阅读 · 0 评论 -
本地yum仓库的配置安装
两种方式: a.每一台机器都配一个本地文件系统上的yum仓库 file:////package/path/ (不推荐因为需要在每台机器上配置) b.在局域网内配置一台节点(server-base)的本地文件系统yum仓库,然后将其发布到web服务器中,其他节点可以通过http://server-base/package/path/制作流程: 挑选一台机器,挂载一个系统光...原创 2018-11-10 15:14:26 · 219 阅读 · 0 评论 -
CDH5 Hadoop集群完全离线安装步骤总结
https://www.zybuluo.com/sasaki/note/242142版本控制 @Title CDH5 Hadoop集群完全离线安装步骤总结@Version v1.0@Timestamp 2015-12-14 14:25@Author Nicholas@Mail redskirt@outlook.com 1. 硬件准备一个4节点的集群,Host对应关...转载 2018-10-27 21:24:30 · 404 阅读 · 0 评论 -
CentOS6.5安装MySQL5.7详细教程
CentOS6.5安装MySQL5.7详细教程对上述内容的详细说明:cat /etc/yum.repos.d/mysql-community.repo 中的调整情况转载 2018-10-18 19:28:49 · 1026 阅读 · 0 评论 -
Phoenix安装与使用文档超详细步骤
一、描述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要记录Phoenix。 phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。...原创 2018-10-25 21:28:37 · 5570 阅读 · 2 评论