大数据
卅千万
怕什么真理无穷,进一寸有一寸的欢喜。
展开
-
集群架构基础必会
集群架构 系统 虚拟机软件 Linux环境 虚拟机台数 集群主机名 64位 WIN7 旗舰版 VMware Workstation CentOS-6.5-x86_64 3 yarn00/yarn01/yarn02part1 Linux虚拟机搭建安装VMWare安装CentOS配置虚拟机网络——Nat模式查看和配置网...原创 2018-09-11 20:59:48 · 203 阅读 · 0 评论 -
Spark你需要知道这些
谈到 Spark,我们总是强调它比 Hadoop 更高效。为什么它可以更高效呢?是因为它优先使用内存存储?还是因为它拥有比 MapReduce 更简单高效的计算模型?与 Hadoop 的区别我们知道在 Hadoop 中,一个作业(Job)可以有一个或多个Task,Task 又可以分成 Map Task 和 Reduce Task。每个Task 分别在自己的进程中运行,Hadoop 中一个 Ta...原创 2019-01-30 19:21:54 · 276 阅读 · 0 评论 -
Hive 基础你需要掌握这些
HDFS 中一个简单的 Join查询,是否需要撸一大串代码?我只会SQL语句 能不能入坑大数据?这里我们就来聊一聊 Hive。Hive 是什么?Hive 是一种数据仓库工具,不提供数据存储(数据还是存储在 HDFS 上),它能让你通过 SQL语句实现 MapReduce 统计。Hive 是一个SQL解析引擎,是将SQL语句转译成 MapReduce 作业,然后在 Hadoop 平台上运行。...原创 2019-01-30 11:49:24 · 240 阅读 · 0 评论 -
从 Hadoop 1.0 到 Hadoop 2.0 ,你需要了解这些
学习大数据,刚开始接触的是 Hadoop 1.0,原创 2019-01-29 12:36:09 · 295 阅读 · 0 评论 -
HDFS要点剖析
谈到大数据,不得不提的一个名词是“HDFS”。它是一种分布式文件存储系统,其系统架构图如下图所示:从图中可以了解到的几个关键概念元数据(MetaData)机架(Rock)块(Block)从图中可以了解到的两个重要组件:NameNodeDataNode需要了解的另一个组件:SecondaryNameNode三个重要的组件说明NameNode简单地说,NameNo...原创 2019-01-28 22:29:53 · 144 阅读 · 0 评论 -
MapReduce详解和WordCount模拟
MapReduce 框架原创 2019-01-28 11:23:38 · 378 阅读 · 0 评论 -
Hbase配置指南
注意点Hbase 需要zookeeper。Hbase 需要在各个节点的机器上配置。集群中的启动顺序是Hadoop、zookeeper 和Hbase搭建步骤解压安装文件并配置环境变量。export HBASE_HOME=/usr/local/src/hbaseexport HBASE_CLASSPATH=$HBASE_HOME/confexport HBASE...原创 2018-09-12 08:20:23 · 167 阅读 · 0 评论 -
Zookeeper配置要点必看
注意点zookeeper需要在各个节点的机器上搭建,它的启动也要在各个节点的$ZOOKEEPER_HOME/bin 下启动。环境搭建下载安装包并解压。在$ZOOKEEPER_HOME/conf 目录下,生成zoo.cfg文件并添加配 置。mv zoo_sample.cfg zoo.cfg#新增内容server.0=192.168.154.200:8880:...原创 2018-09-12 08:20:08 · 1025 阅读 · 0 评论 -
集群搭建之Spark配置要点解析
注意点:安装Spark前先要配置好Scala运行环境。Spark和Scala需要在各个机器上配置。环境变量配置在~/.bashrc中添加如下的配置信息。#scala confexport SCALA_HOME=/usr/local/src/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin#spark confex...原创 2018-09-11 21:13:39 · 171 阅读 · 0 评论 -
集群搭建之Hive配置要点
注意点:在启动Hive 的时候要先启动Hadoop和MySQL服务。Mysql 和 Hive 搭建在 yan00机器上。part1:MySQL配置相关安装和配置相关命令:Yum install mysqlYum install mysql-server/etc/init.d/mysqld startmysqladmin -u root pas...原创 2018-09-11 21:08:14 · 191 阅读 · 0 评论 -
Hadoop配置要点必看
hadoop 配置要点 软件 版本 java 1.8.0_151 hadoop 2.6.1part1 $HADOOP_HOME/etc/hadoop 目录下配置参数。slaves 配置从节点 yarn01,yarn02。 core-site.xml 添加配置。<configuration><property...原创 2018-09-11 21:04:34 · 154 阅读 · 0 评论 -
Hadoop shell 一查就会
Hadoop shell 命令有三种格式hdfs + dfs (必须是dis)Hadoop + dfsHadoop + df命令说明hadoop 版本查看hadoop versionhadoop 显示命令信息hadoop dfs列出 HDFS 目录Hadoop fs -ls /递归列出 / 下的所有目录(包括子目录)Hadoop fs -l...原创 2019-03-05 11:43:08 · 210 阅读 · 0 评论