大数据
Jagger-Q
大数据
展开
-
大数据仓库Hive部署安装
在安装hive之前,请先确保已经搭建好hadoop环境,如果没有完成hadoop环境搭建,可参考文章最全面的CentOS下hadoop的分布式搭建或者CentOS下hadoop的伪分布式安装。一、下载并解压安装包下面提供了hive-0.13.1版本的下载链接链接: https://pan.baidu.com/s/1RcoymkbWsCRUHUKTxrcVmw密码: dh78将下载好的安装包解压到指定目录:二、配置文件hive的配置文件非常简单。1、修改conf目录下的hive-env.sh原创 2020-11-24 18:50:17 · 249 阅读 · 0 评论 -
Centos安装mysql完整教程
一、查看本机是否安装了mysql使用rpm -qa | grep mysql查看本机是否安装了mysql若安装了则使用rpm -e --nodeps 报名进行卸载二、下载mysql链接: https://pan.baidu.com/s/18y4aVsMR0Qhr7bhnuqqadA密码: 3tv9三、安装mysql服务器安装包中一共包含三个文件,首先暗转server服务。启动server服务查看密码:改密码用于启动mysql四、安装mysql客户端五、启动mysql使用命令原创 2020-11-24 18:48:49 · 120 阅读 · 0 评论 -
hadoop之HDFS HA(高可用)架构安装部署
前言再看本文章之前,请先确保已经看过CentOS下hadoop的分布式搭建和分布式协作服务框架Zookeeper安装部署两篇文章,因为本文章是建立在它们基础之上的。一、HA相关介绍1、为什么出现HA架构Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)(也就是namenode单点宕机导致集群不可用的问题)。NameNode主要在以下两个方面影响HDFS集群:NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要升级,包括软件原创 2020-10-18 16:50:50 · 396 阅读 · 2 评论 -
分布式协作服务框架Zookeeper安装部署
一、Zookeeper是什么官方文档是这么解释Zookeeper的:它是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。它提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、配置管理、集群管理、共享锁/同步锁等。从设计模式角度来看,它是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理集群中所有结点都关心的数据,然后接受观察者(集群中的结点)的注册,如果这些数据的状态发生改变,zoo原创 2020-10-17 22:01:13 · 179 阅读 · 2 评论 -
最全面的CentOS下hadoop的分布式搭建
在开始搭建完全分布式之前,请先确保已经掌握hadoop伪分布式的安装。因为hadoop完全分布式的安装只需在伪分布式的基础上配置三个结点即可,同时对一些配置文件稍加改进。一、本博客的集群相关配置本博客主要搭建具有三个节点的完全分布式hadoop集群,结点名称分别为hadoop1、hadoop2、hadoop3。具体信息如下:二、克隆虚拟机在搭建好伪分布式的基础,我们不需要在另外单独创建两个虚拟机,直接采用的克隆的方法创建,同时必须确保三台机器的用户名一样。这部分如果觉得比较困难的同学或者遇到原创 2020-10-11 21:10:21 · 285 阅读 · 0 评论 -
最全面的CentOS下hadoop的伪分布式安装
一、安装java环境在开始安装hadoop之前,要先确保机器已经安装了java环境,因为hadoop的运行依赖于java。Java安装链接二、配置ssh本机免密登陆首先输入命令ssh-keygen -t rsa回车四下,来获取密匙然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙三、进行hadoop伪分布式安装1、下载hadoop链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao2、解原创 2020-10-11 15:36:19 · 426 阅读 · 0 评论 -
最全的CentOS6.X安装JDK
1、在安装JDK之前,需要先使用命令:rpm -qa |grep jdk查看本机是否含有自带的openjdk版本.若含有则使用:rpm -e --nodeps +包名进行强制卸载因为我的虚拟机不存在jdk,所以我直接进行接下来的安装。2、首先下载一下jdk安装包,并使用tar -zxvf 包名 -C(制定安装目录) 安装目录命令进行安装jdk下载链接密码: rl0j3、配置相关的环境变量vim /etc/profileexport JAVA_HOME=/opt/module/jdk原创 2020-10-11 13:03:22 · 218 阅读 · 0 评论 -
Hadoop之“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform“问题解决办法
如上面两个图所示,每次启动hdfs或者使用hdfs命令的时候总是会出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。对于一个码农来说这是不可接受的。有很多大神在博客中给出了集中解决办法,但是个人都觉得相对复杂。本人通过多次阅读了hadoop官方文档,了解到出现这一警告是因为hadoop/..原创 2020-08-22 20:12:12 · 1851 阅读 · 1 评论 -
在mac下使用vscode远程编辑文件与centos6.4
前言最近学习大数据,搭建大数据集群的时候需要在centos上配置各种各样的文件。而centos目前支持的文件编辑器是vim,虽然功能比较强大,但是编辑起来还是比较麻烦。经过一番研究后,了解到可以通过在本机上配置vscode进行远程编辑开发。首先有一点大家必须知道,网上给了很多教程搭建远程开发环境,但是我的开发环境是CentOS6.4,按照其他大神写的教程,是无法进行ssh连接的,最后查到了原来VSCode远程开发建议CentOS7以上版本,而对于CentOS6需要升级glibc和libstdc++。所以原创 2020-07-22 15:45:20 · 1554 阅读 · 0 评论 -
Linux安装Hadoop超详细教程
一、引言首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。本机的配置环境如下:Hadoop(3.1.1)Ubuntu Linux(64位系统)二、安装ssh服务ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令...原创 2020-01-28 13:30:00 · 13846 阅读 · 0 评论 -
CentOS安装完整教程
1.CentOS6.4安装(1) 下载镜像文件使用如下网址:https://pan.baidu.com/s/1Ajpcb-W8b-Kwh6I9Hqh4gw 提取码: s57r 。下载镜像文件,也可到官网中进行下载(2) 创建虚拟机打开Virtual Box或者VMware,点击“新建”按钮;输入虚拟机名称为spark1,选择操作系统为Linux,选择版本为Red Hat(32bit);分配...原创 2020-01-08 18:56:39 · 438 阅读 · 0 评论