自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 hive集群搭建

Hive的安装    三个前提:        JDK        HADOOP        MySQL    第一步:安装MySQL(离线)        操作目录:/home/uplooking/soft --->安装包所在目录        1°、查询linux中已有的mysql依赖包            [uplooking@uplooking01 ~]$ rp...

2018-11-12 23:11:33 268

原创 storm集群搭建

实时计算    -----有别于传统的离线批处理操作(对很多数据的集合进行的操作),实时处理,说白就是针对一条一条的数据/记录进行操作,所有的这些操作进行一个汇总(截止到目前为止的所有的统计总和)实时计算和离线计算面临的数据的特征:    Bounded:有界        离线计算面临的操作数据都是有界限的,无论是1G、1T、1P、1EB、1NB        数据的有界必然会导致计...

2018-11-12 21:57:40 155

原创 kafka集群搭建

消息队列    消息 Message       网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。    队列(FIFO) Queue       一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素。入队、出队。    消息队列 MQ       消息+队列,保存消息的队列。消息的传输过程中的容器;主要提供生产、消费...

2018-11-12 21:55:07 175

原创 zookeeper集群搭建

Hadoop分布式HA的安装部署    集群的规划        ip                        基本的软件                        运行的进程                uplooking01                jdk、zk、hadoop                    NameNode、zkfc、zk、journalNode...

2018-11-12 21:53:13 149

转载 mysql 5.7安装

CentOS7 下使用YUM安装 MySQL5.7    于2015年10月19日(美国时间),Oracle公司发布了开源数据库MySQL的最新版本5.7。到现在已有将近3年之久,经过这几年的改进,MySQL5.7性能最高可达前一个版本的3倍,现在官网的最新版本是5.7.18.在这里,我将介绍yum的安装MySQL5.7的方法。      1:添加MySQL5.7的YUM源,建议安装epe...

2018-10-15 21:29:20 150

原创 redis

    Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区。   简言之,Redis是一种面向“键/...

2018-09-26 12:42:48 237

原创 hbase

HBase逻辑结构    RowKey第一位        ColumnFamily            ColumnQuiauer                value(TimeStamps)                Cell物理结构    HMaster    ----->NameNode        管理节点,用于管理HBase中的Table和Region...

2018-09-26 11:54:04 126

原创 hive

Hive    Hive是一款数据仓库的基础架构    Hive是一款SQL的解析引擎复合数据类型    array    ----java中的数组        hobby array<string>    map        ----java中的map        score map<string, int>    struct    ----jav...

2018-09-26 11:53:19 251

原创 hdfs shell 大全

HDFS SHELL命令大全 第一个部分为ACL(Access control List)权限第二个部分为备份数量第三个部分为所属用户第四个部分为所属用户组第五个部分为文件大小[单位:字节]第六个部分为文件状态stat第七个部分为文件名称appendToFileUsage: hdfs dfs -appendToFile <localsrc> ...

2018-09-25 16:45:27 189

原创 linux基本命令

Linux下常用的命令记录CPU相关lscpu #查看的是cpu的统计信息.cat /proc/cpuinfo #查看CPU信息详细信息,如每个CPU的型号,主频等内存相关free -m #概要查看内存情况 这里的单位是MBcat /proc/meminfo #查看内存详细信息磁盘...

2018-08-27 15:45:43 119

转载 hodoop-2.6.0安装配置

我这里是在Debian8.6.0版本的Linux操作系统下安装的hadoop-2.6.0-cdh5.5.2cdh5系列下载地址:http://archive.cloudera.com/cdh5/cdh/5/正真的第一步应该是同步时间,同步后得重启,否则的话会运行mr的时候会卡主不动,不同步运行mr的时候会报错:(红帽的话防火墙和selinux是否关闭,这都可能在安装中会报错,但Debian安装后防...

2018-07-09 17:04:54 318

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除