Hadoop
Hadoop生态
ShaneHolmes
研究生
展开
-
大数据专栏
【前言】大数据入门开发笔记整理以下是大数据相关杂记 我的大数据之路 --shaneholmes 环境部署搭建 《安装虚拟机》 wmware,centos7 传送门 ...原创 2020-02-24 18:01:22 · 814 阅读 · 0 评论 -
HDFS
大数据专栏 上一篇 主目录 下一篇 目录1. 简介【前言】hadoop分布式文件系统HDFS1. 简介HDFS特点、组成、工作过程机制HDFS简介及基本概念...原创 2020-02-24 17:39:14 · 617 阅读 · 0 评论 -
hdfs在IDEA下运行报log4j警告
大数据专栏 上一篇 主目录 下一篇 目录错误描述解决方式【前言】错误描述log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFact...原创 2020-03-13 16:07:22 · 810 阅读 · 0 评论 -
hadoop批量命令
大数据专栏 上一篇 主目录 下一篇 目录【前言】使用hadoop批量命令脚本可以在一台服务器上对集群多台服务器进行同一个命令的操作并将结果显示在本服务器上xcall.sh批量命令脚本:#!/bin/bashparams=$@for i in hadoop01 had...原创 2020-04-03 15:27:03 · 920 阅读 · 0 评论 -
同步时间
大数据专栏 上一篇 主目录 下一篇 目录【前言】将Linux服务器时间同步:tzselect对hadoop01~04进行:修改/etc/localtime权限777scp /usr/share/zoneinfo/Asia/Shanghai hadoop@hadoo...原创 2020-04-02 19:21:24 · 617 阅读 · 0 评论 -
HDFS 集群的机架感知
大数据专栏 上一篇 主目录 下一篇 目录1 背景2 配置机架感知2.1 修改配置文件core-site.xml1 背景【前言】Hadoop 在设计时考虑到数据的安全,数据文件默认在 HDFS 上存放三份。显然,这三份副本肯定不能存储在同一个服务器节点。那怎么样的存储策略能...原创 2020-03-30 23:16:42 · 625 阅读 · 0 评论 -
hadoop HA集群搭建
大数据专栏 上一篇 主目录 下一篇 目录1 Hadoop HA原理【前言】搭建hadoop的HA(High Available)集群1 Hadoop HA原理为什么会有 hadoop HA 机制呢?HA:High Available,高可用在Hadoop 2.0之...原创 2020-03-30 14:12:01 · 551 阅读 · 0 评论 -
hadoop杂记
大数据专栏 上一篇 主目录 下一篇 目录【前言】本文用来记录一些知识点,比较杂Hadoop集群1、HDFS集群2、YARN集群共同的架构设计: 主从架构共同的问题: SPOF普通的分布式集群(主节点的机器性能比较,可靠性比较高)随着数据量的快速增长...原创 2020-03-30 12:10:46 · 613 阅读 · 0 评论 -
sqoop
大数据专栏 上一篇 主目录 下一篇 目录1 简介2 安装3 使用3.1 导入 MySQL 到 HIVE【前言】1 简介sqoop 是 apache 旗下一款“Hadoop 和关系数据库之间传送数据”的工具导入数据:MySQL,Oracle 导入数据到 Hadoop 的...原创 2020-03-26 15:03:27 · 489 阅读 · 0 评论 -
Azkaban
大数据专栏 上一篇 主目录 下一篇 目录1. 简介2. 安装【前言】1. 简介推荐文章:链接1、链接2Azkaban简要介绍一个批量工作流任务调度器:主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中...原创 2020-03-19 20:19:39 · 557 阅读 · 0 评论 -
IDEA打包MapReduce程序,jar在hdfs集群运行
大数据专栏 上一篇 主目录 下一篇 目录1 编写代码1.1 创建Maven项目1.2 添加依赖1.3 代码2 项目打包3 hdfs集群运行3.1 上传到Linux服务器3.2 在hadoop01执行jar【前言】Intellij IDEA打包MapReduce程序,并使用ja...原创 2020-03-13 13:10:33 · 5756 阅读 · 6 评论 -
hadoop的idea环境搭建
大数据专栏 上一篇 主目录 下一篇 目录1 在IDEA中安装Hadoop插件【前言】Intellij IDEA连接Hadoop HDFS实现本地调试1 在IDEA中安装Hadoop插件插件下载地址CSDNGitHub安装插件重启IDEA菜单栏Hadoop–设...原创 2020-03-12 23:50:28 · 5781 阅读 · 1 评论 -
window下配置主机映射
大数据专栏 上一篇 主目录 下一篇 目录【前言】之前没有配置主机映射,在虚拟机中的Hadoop集群网页只能通过【ip:端口号】的方式访问打开C:\Windows\System32\drivers\etc\hosts ,加入:192.168.65.101 hadoop01...原创 2020-03-12 21:40:59 · 2045 阅读 · 1 评论 -
hadoop的eclipse环境搭建
大数据专栏 上一篇 主目录 下一篇 目录1. eclipse的安装2. 安装hadoop插件3. 搭建eclipse开发环境【前言】1. eclipse的安装参见 https://blog.csdn.net/qq_36554582/article/details/8183...原创 2020-02-27 11:22:21 · 589 阅读 · 0 评论 -
windows安装hadoop-2.7.3
大数据专栏 上一篇 主目录 下一篇 目录1. 下载资源2. 解压文件3. 修改配置文件4. 配置环境变量5. 验证启动【前言】在windows系统中安装配置hadoop-2.7.3.tar.gz1. 下载资源下载链接其中包含有 winutils.exe和hadoop....原创 2020-02-26 23:24:41 · 1039 阅读 · 0 评论 -
hadoop的操作命令
大数据专栏 上一篇 主目录 下一篇 目录1.【前言】hadoop的操作命令1.原创 2020-02-24 13:43:54 · 685 阅读 · 0 评论 -
安装部署hadoop集群
大数据专栏 上一篇 主目录 下一篇 目录1. 上传压缩包到服务器2. 解压到文件夹apps3. 修改配置文件4. 配置环境变量5. 在其他节点部署6. 验证启动【前言】安装部署hadoop集群。共有五个节点hadoop01,hadoop02,…,hadoop05。01作为主节...原创 2020-02-24 11:58:48 · 704 阅读 · 0 评论 -
Xshell的使用
大数据专栏 上一篇 主目录 下一篇 目录1. 连接服务器2. 同时操作多个会话【前言】1. 连接服务器文件->新建->2. 同时操作多个会话然后,再在窗口中选择全部会话即可...原创 2020-02-23 11:44:22 · 539 阅读 · 0 评论 -
Linux-centos7安装MySQL
大数据专栏 上一篇 主目录 下一篇 目录Linux-centos7安装MySQL数据库Linux-centos7数据库配置环境变量【前言】Linux-centos7安装MySQL数据库Linux-centos7数据库配置环境变量...原创 2020-02-23 11:38:25 · 532 阅读 · 0 评论 -
安装虚拟机
大数据专栏 上一篇 主目录 下一篇 目录1. 安装虚拟机2. 配置虚拟机2.1 连接网络2.2 设置主机名【前言】没有登录的情况下直接输入后台地址可以直接访问到后台管理页面,使用拦截器可以解决这类问题1. 安装虚拟机安装vmware和装虚拟机2. 配置虚拟机2.1 ...原创 2020-02-19 12:44:14 · 590 阅读 · 0 评论