hadoop
王者的路注定孤独
是雄鹰就应搏击长空,是男儿就应纵横沙场。
展开
-
大数据Hadoop系列之Map-ETL实战开发
1. 输入数据122.245.205.218^A1450572279.254^Ahadoop-master.volitation.com^A/BEIfeng.gif?u_nu=1&u_sd=DFBFABA3-9F0B-451F-B47C-782EDBFB5D90&c_time=1450572272695&ver=1&en=e_l&p...原创 2020-04-03 18:37:03 · 19352 阅读 · 0 评论 -
大数据Hadoop系列之Hadoop分布式集群部署
一、部署规划1、部署环境各部署单元的软件部署情况如下:二、环境准备1、修改主机名[root@VM1 ~]# vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=master60[root@VM2 ~]# vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=slave...原创 2018-05-11 18:16:09 · 445198 阅读 · 1 评论 -
大数据Hadoop系列之Hadoop机架感知配置
1)编写topology.dataIP地址 主机名 交换机/机架192.168.9.60 master60 /dc1/rack1192.168.9.61 slave61 /dc1/rack1192.168.9.62 slave62 /dc1/rack2192.168.9.63 slave63 /dc1/ra...原创 2018-06-05 16:32:18 · 11594 阅读 · 0 评论 -
大数据Hadoop系列之HDFS命令讲解
1. 前言HDFS命令基本格式:hadoop fs -cmd < args >2. ls 命令hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件3. put 命令hadoop fs -put < local file > < hdf...原创 2018-06-13 17:47:52 · 12357 阅读 · 0 评论 -
大数据Hadoop系列之Hadoop服务开机自启动配置
1. 编写运行脚本$ sudo cd /etc/init.d$ sudo vi hadoop#!/bin/bash#chkconfig:35 95 1#description:script to start/stop hadoopsu - hadoop <<!case $1 instart)sh /opt/apache/hadoop/hadoop-2.7....转载 2018-10-30 20:22:40 · 14428 阅读 · 0 评论 -
大数据Hadoop系列之Hadoop Web控制台添加身份验证
1. 背景介绍本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。 默认情况下,Hadoop HTTP Web控制台(ResourceManager,NameNode,NodeManagers和DataNodes)允许访问而无需任何形式的身份验证。 可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议(Firefox和Internet Exp...翻译 2018-11-08 17:00:32 · 95992 阅读 · 5 评论