Hadoop
文章平均质量分 59
panasonics123
某互联网上市公司数据分析师
励志成为一名数据科学家……
展开
-
无脑操作:Hadoop配置服务器ip地址和主机映射
配置服务器ip地址和主机名称配置的映射配置vm的ip地址配置vm的ip地址修改网络配置文件修改主机名称修改主机名配置映射文件准备好之后reboot重启原创 2024-04-09 14:09:46 · 324 阅读 · 0 评论 -
hive管理之ctl方式
hive管理之ctl方式hivehive --service clictl命令行的命令#清屏Ctrl +L#或者! clear#查看数据仓库中的表show tabls;#查看数据仓库中的内置函数show functions;#查看表的结构desc表名#查看hdfs上的文件dfs -ls 目录#执行操作系统的命令!命令#执行hql语句select***from*** #执行sql的脚本source SQL文件hive管理之web方式启动hi原创 2024-04-09 14:08:00 · 409 阅读 · 1 评论 -
Hive概要介绍
Hive概要数据仓库什么是hiveHive的体系结构Hive的体系结构之原数据Hive的体系结构之HQL执行过程Hive的体系结构原创 2024-04-09 14:07:24 · 157 阅读 · 0 评论 -
hadoop介绍
Hadoop介绍原创 2024-04-07 13:38:47 · 163 阅读 · 0 评论 -
hadoop完全分布式搭建——跟着代码步骤走一步到位
hadoop完全搭建—跟着代码步骤走一步到位这篇文章是搭建hadoop完全分布式的一步到位过程,并没有对于内容的太多的介绍。直接按步骤代码走一步到位。这篇文章是用以下两篇文章结合起来的。hadoop伪分布式搭建及其介绍hadoop完全分布式详细步骤话不多说现在开始首先要创建一个虚拟机然后将虚拟机打开1.修改虚拟机IP地址和配置NAT模式,根据下面的命令和图片中黑色框内容进行设置IPADDR是本台虚拟机的IP地址vi /etc/sysconfig/network-scripts/ifcfg-原创 2021-09-05 12:08:10 · 1046 阅读 · 3 评论 -
MapReduce案例之wordcount
MapReduce案例之wordcount1.案例的主要流程step1.数据格式的准备结果如下图所示:2.step2 Mapper代码的编写package mapReduce;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*四个泛型的解原创 2021-06-17 20:48:48 · 303 阅读 · 2 评论 -
MapReduce的设计思想和编写流程、运行模式
MapReduce1. MapReduce 思想1.1MapReduce的设计构思原创 2021-06-16 20:11:41 · 168 阅读 · 1 评论 -
hdfs的高可用机制
hdfs的高可用机制hdfs的namenode的架构组件的介绍原创 2021-06-15 21:18:48 · 90 阅读 · 0 评论 -
HDFS 安全模式
HDFS 安全模式任务目的了解什么是安全模式,知晓集群在安全模式下能做什么工作掌握集群进入和退出安全模式的三种情况掌握集群在正常冷启动时进入安全模式的原理任务清单任务1:安全模式简介任务2:进入安全模式的三种情况任务3:退出安全模式的三种方式详细任务步骤任务1:安全模式简介问题场景:集群启动后,可以查看目录,但是上传文件时报错,打开 Web 页面可看到 NameNode 正处于 SafeMode 状态,怎么处理?SafeMode 是 NameNode 的一种特殊状态(Active/原创 2021-06-15 21:09:12 · 1142 阅读 · 0 评论 -
HDFS 工作机制
HDFS 工作机制来自青椒课堂本科培训组资料掌握 HDFS 集群三大重要角色的主要工作职责理解 HDFS 写数据的详细流程理解 HDFS 读数据的详细流程任务清单任务1:HDFS 概述任务2:HDFS 写数据流程任务3:HDFS 读数据流程任务1:HDFS 概述1. HDFS 集群分为三大角色: NameNode、DataNode、SecondaryNameNode。 2. NameNode 负责管理整个文件系统的元数据(简单的说,元数据就是描述文件的数据,如文件名、目录名、文件大小原创 2021-06-15 20:57:22 · 839 阅读 · 0 评论 -
hdfs基础命令,高级使用命令,文件写入、读取过程,原数据的管理
hdfs基础命令ls 与mkidrlshdfs dfs -ls 文件目录例如:hdfs dfs -ls /hdfs dfs -ls -r 文件目录 ##列出该文件下所有的子目录hdfs dfs -mkidr -p 文件目录 ##(递归)创建文件夹例如: hdfs dfs -mkdir -p /dir/dir1/dir2puthdfs dfs -put /root/a.txt /dir1moveFromLocalhdfs dfs -moveFromLocal原创 2021-06-09 19:11:15 · 2489 阅读 · 0 评论 -
hive的一些操作
在这里插入代码片在这里插入代码片在这里插入代码片在这里插入代码片原创 2021-05-29 18:49:19 · 109 阅读 · 0 评论 -
Hadoop常用命令
Hadoop常用命令原创 2021-05-13 19:39:12 · 3874 阅读 · 0 评论 -
HDFS 简介 与HDFS 架构
3.1 HDFS 简介任务目的 了解传统文件系统到分布式文件系统的演变过程 理解 HDFS 中重要角色的相关概念 理解 HDFS 的优缺点任务1:HDFS 的演变HDFS 源于Google在2003年10月份发表的GFS(Google File System)论文,接下来从传统的文件系统入手,开始学习分布式文件系统,以及分布式文件系统是如何演变而来。传统的文件系统对海量数据的处理方式是将数据文件直接存储在一台服务器上。如下图所示: 从上图可以看出,传统的文件系统在存储数据原创 2021-05-06 20:49:45 · 3748 阅读 · 2 评论 -
第二章 Hadoop集群搭建
第二章 Hadoop集群搭建2.1 Linux系统环境准备1.安装jdk 所以如果我们需要经常运行的命令,比如之后经常用到的 hadoop、hdfs等,我们可以将他们的路径全都放在 PATH 里面,这样运行比较方便。 vim /etc/profileexport JAVA_HOME=/root/software/jdk1.8.0_221 # 配置Java的安装目录export PATH=$PATH:$JAVA_HOME/bin # 在原PATH的基础上加入JDK的bin目录原创 2021-05-03 14:00:49 · 1382 阅读 · 0 评论 -
大数据概论----最全版
1.1大数据概论1.大数据的概念最早提出“大数据”这一概念的全球知名咨询公司麦肯锡的定义:“大数据”是指在一定时间内无法用传统数据库软件工具采集、存储、管理和分析其内容的数据集合。若从技术角度来看,大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。2.大数据的特点一般认为,大数据主要具有以下5个方面的典型特征,即规模性(Volume)、多样性(Variety)、高速性(Velocity)、价值性(Value)、以及真实性(Veracity),即所谓的5V,接下原创 2021-05-03 14:00:19 · 1705 阅读 · 0 评论 -
第一章 Hadoop体系介绍
Hadoop快速入门1:Hadoop简介Hadoop 是 Apache 软件基金会旗下的一个开源的分布式计算平台。Hadoop 提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理; “处理”什么问题? 海量数据的存储和海量数据的分析计算问题。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。Hadoop 的核心组件有:Common(基础组件):(工具包, RPC 框架) JNDI 和 RPCHDFS(Hadoop Distributed Fi原创 2021-05-01 14:48:26 · 1646 阅读 · 1 评论