大数据
hongye301
时间太快,等一等。
展开
-
HDFS概述、HDFS主要技术、HDFS指令、HDFS回收站机制及配置、dfs路径
一.HDFS概述` Hadoop Distributed File System----- Hadoop分布式文件存储系统,是hadoop的一个组件,用于数据的存储。HDFS的总体布局: HDFS中存在一个名字节点NameNode和多个数据节点DataNode。当用户发送请求后,HDFS会对数据进行切块,然后备份(称为复本replication)并存储到某一个DataNode上,从而...原创 2019-01-03 23:54:15 · 612 阅读 · 0 评论 -
大数据特点、Hadoop概述、版本介绍、模块
一、特点:5V1、volume-体积量大 包括采集、存储和计算的量都很大。大数据的起始计量单位至少时T、P(=1024T)、E(=100万个T)、Z(10亿个T)。2、variety-种类多 具体表现为网络日志、音频、视频、图片、地理位置信息等。3、value-数据价值密度低 随着互联网以及物联网的广泛应用,信息海量,但价值密度较低。4、velocity-增长速度快5、v...原创 2019-01-02 23:30:03 · 218 阅读 · 0 评论 -
Hadoop安装
一、Hadoop的安装分类1、单机模式。只能使用MapReduce,其他进程无法启动2、伪分布式。只用一个节点来模拟Hadoop的运行环境。在这种模式下,Hadoop的所有进程都能够正常启动使用。3、 完全分布式。用多个节点来搭建Hadoop集群。二、伪分布式的安装步骤操作系统为linux。1、关闭防火墙service iptables stop;#立即关闭防火墙,但是重启后失效。...原创 2019-01-03 00:06:52 · 158 阅读 · 0 评论 -
HDFS的读写删操作流程
一、读取流程上图的详细过程:1、HDFS提供的客户端开发库Client,通过RPC访问NameNode,发送读操作。2、NameNode通过查询元数据,获取到文件的存储路径,将文件对应的全部(文件较小)或者文件的部分(文件较大)的存储路径放到一个队列中,发送给客户端。3、客户端收到队列,依次遍历队列,读取文件块的信息4、客户端从队列中获取到第一个文件块的存储位置,从中选出一个最近的Da...原创 2019-01-18 22:51:29 · 510 阅读 · 0 评论 -
Kafka
一、Kafka介绍:Kafka是一种分布式的、基于发布订阅的消息系统,能够高效并实时的吞吐数据,以及通过分布式集群和复本冗余机制实现数据的安全。二、Kafka的安装配置:1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到1号虚拟机,解压tar -xvf kafka_2.10-0.10.0.13.进入安装目录下的config目录4.对...原创 2019-01-22 00:10:04 · 5144 阅读 · 0 评论 -
Storm学习
一、Storm介绍官方网址:http://storm.apache.org/官方对于Storm的介绍: Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of da...原创 2019-01-21 23:07:48 · 260 阅读 · 0 评论 -
Storm集群配置与启动
一、Storm集群配置搭建总体的架构:实现步骤:1.安装和配置jdk2.安装和配置zookeeper3.上传和解压storm4.配置storm安装目录conf目录下的storm.yaml文件storm.yaml配置示例:找到storm.zookeeper.servers:添加服务节点,如下:storm.zookeeper.servers:- “zkp1”- “zkp2”...原创 2019-01-21 23:16:15 · 1789 阅读 · 0 评论 -
安装Hive下的Mysql
1.下载mysql安装包MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm2.确认当前虚拟机之前是否有安装过mysql执行:rpm -qa | grep mysql如果出现下图,证明已经安装了mysql,需要删除3.删除mysql执行:rpm -ev --nodeps mysql-libs-5.1.71-1.el6.x86_64再执行验证...原创 2019-02-17 00:01:51 · 314 阅读 · 0 评论 -
Kafka使用过程中遇到的异常
异常一:Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequestat storm.kafka.KafkaConfig.<init>(KafkaConfig.java:43)解决方法:这是没有kafka的jar包,给项目导入kafka的jar包,build path,重新...原创 2019-02-17 00:04:08 · 669 阅读 · 0 评论