大数据生态圈
文章平均质量分 96
小强签名设计
真正牛逼的生活是既可以朝九晚五又可以浪迹天涯。
展开
-
Redis安装及使用
简单来说 redis 就是一个数据库,不过与传统数据库不同的是 redis 的数据是存在内存中的,所以读写速度非常快,因此 redis 被广泛应用于缓存方向。另外,redis 也经常用来做分布式锁。为什么要用 redis/为什么要用缓存?主要从“高性能”和“高并发”这两点来看待这个问题。高性能:假如用户第一次访问数据库中的某些数据,这个过程会比较慢,因为是从硬盘上读取的。如果该用户访问的数据存在缓存中,这样下一次再访问这些数据的时候就可以直接从缓存中获取了。原创 2024-01-16 10:54:16 · 594 阅读 · 0 评论 -
CDH 6.3.2-1 离线安装部署(Centos7.9)
三台服务器都操作:三、安装 Cloudera-Manager四、访问 Cloudera Manager五、集群异常信息解决参考:Linux搭建Cloudera Manager+CDH6.3.1环境原创 2023-12-27 11:20:52 · 1064 阅读 · 0 评论 -
Hadoop生态圈技术概述
装完hadoop2.6.0-cdh5.5.2后put命令不好使,并且装完hive后导入本地数据也报错,put命令一直报这个错:hadoop@debian:~$ hadoop fs -put he.tt /aaa17/01/02 23:37:52 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteE原创 2017-05-12 15:56:42 · 3911 阅读 · 0 评论 -
大数据各组件安装(数据中台搭建)
文章目录一、基础环境配置(三台机器都操作)1.修改主机名:2.关闭防火墙:3.关闭Selinux:4.文件描述符配置:5.自定义JDK安装:5.1 删除默认openJDK:5.2 安装jdk1.8.0_91:6.创建Hadoop用户:7.配置SSH免密登录:二、大数据组件安装1.安装Zookeeper:2.安装Hadoop:3.安装Hbase:4.安装Hive:4.1 安装MySQL:4.2 部署Hive:5.安装kafka:6.安装Solr:7.安装Atlas:7.1 集成 Hbase:7.2 集成 So原创 2022-04-02 12:14:01 · 7940 阅读 · 3 评论 -
Atlas学习二
文章目录一、安装atlas1.集成 Hbase:2.集成 Solr:3.集成 Kafka: 首先调大虚拟机内存为6G左右:一、安装atlasmvn clean -DskipTests package -Pdist,external-hbase-solr -Denforcer.skip=true# 由于atlas只提供源码,所以需要我们先将源码编译后,再将压缩包上传到服务器tar -zxvf apache-atlas-2.1.0-server.tar.gz1.集成 Hbase:root原创 2021-10-15 17:38:49 · 498 阅读 · 0 评论 -
Atlas学习一
文章目录一、apache-atlas-1.1.0-sources源码编译打包1.遇到的问题:2.启动:一、apache-atlas-1.1.0-sources源码编译打包源码包下载地址:apache-atlas-1.1.0-sources.tar.gz Atlas目前只能自行编译源码进行安装,Atlas使用java开发,但是是以python方式启动,所以安装之前,环境必须满足以下需求:jdk 1.8+maven3.xpython2.7+ 我把源码包上传到了CentOS服务器上(Cent原创 2021-10-12 19:04:37 · 1702 阅读 · 0 评论 -
Redhat6.6安装Ambari2.0.1
RedHat6.6 64位下载地址 链接:https://pan.baidu.com/s/1o6FkKkE(密码:1aah)ambari官网:http://ambari.apache.org/Ambari是什么:Ambari跟Hadoop等开源软件一样,也是Apache Software Foundation中的一个项目,并且是顶级项目。就Ambari的作用来说,就是创原创 2017-08-21 17:01:53 · 1595 阅读 · 0 评论 -
HDP3.1.5.0+Ambari2.7.5安装部署(Centos7.2)
Centos7.2下载地址:http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程:http://1130739.blog.51cto.com/1120739/1738791附:CentOS官网历史发行版本下载地址:http://archive.ker...原创 2017-08-22 15:30:54 · 6609 阅读 · 11 评论 -
Ambari熟练应用篇
利用Ambari管理Hadoop集群Service Level Action(服务级别的操作)首先我们进到Ambari的GUI页面,并查看Dashboard。在左侧的Service列表中,我们可以点击任何一个您想要操作的Service。以MapReduce2为例(Hadoop这里的版本为 2.7.x,也就是YARN+HDFS+MapReduce2),当点击MapReduce2后,就会看原创 2017-08-22 16:18:39 · 1830 阅读 · 0 评论 -
Oozie-4.1.0-cdh5.5.2 安装部署使用
本文大部分内容参考自:http://www.cnblogs.com/ilinuxer/p/6804339.html一. Hadoop常见调度框架:(1)Linux Crontab:Linux自带的任务调度计划,在任务比较少的情况下,可以使用这种方式,直接执行脚本,例如添加一个执行计划: 0 12 * hive -f xxx.sql(2)Azkaban:(3)Oozie:Cl原创 2017-09-15 09:54:31 · 1766 阅读 · 0 评论 -
Hue安装部署(Centos 7.2)
一,HUE介绍http://blog.csdn.net/liangyihuai/article/details/54137163二,Hue的安装和部署1,在root用户下用yum安装所依赖的系统包(能联网)yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-d原创 2017-09-13 11:17:03 · 6281 阅读 · 1 评论