Sven_Hadoop
文章平均质量分 79
剑行极锋
Challenges make me excited!
展开
-
Hadoop体系的介绍
介绍一下大数据的情况,以及hadoop原创 2017-11-28 20:39:12 · 1042 阅读 · 0 评论 -
It looks like you are making an HTTP request to a Hadoop IPC port. 报错
报错描述:It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.在hadoop伪分布式搭建完成,发现浏览器报以上错误。报错原因:网址输入有误。报错网址:hdfs:/...原创 2019-05-21 15:20:56 · 6884 阅读 · 0 评论 -
Hadoop3.1.0(伪分布式)安装教程
一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台,下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括:Java必须安装。如果要使用可选的启动和停止脚本,必须安装ssh,并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外,建议安装pdsh以获得更好的ssh资源管理。三、安装软件 如果你的集群没有必要的软件,你需...原创 2018-04-13 17:27:41 · 4039 阅读 · 0 评论 -
Hadoop3.X的新特性
Hadoop3.0.0版本的新特性:Java最低版本要求从Java7更改成Java8HDFS支持纠删码(Erasure Coding)引入YARN的时间轴服务v.2(YARN Timeline Service v.2)重写了shell脚本隐藏底层jar包(shaded client jars)支持containers和分布式调度MapReduce任务级本地优化支持多于两个的NameNodes改变了...原创 2018-04-16 17:29:39 · 1420 阅读 · 0 评论 -
大数据知识概览
大数据在实际操作中的用途,位置原创 2018-01-05 22:15:03 · 390 阅读 · 0 评论 -
Maven的介绍及使用
主要是开发中,用到的构建工具,主要是对项目构建、依赖管理、项目信息管理。原创 2017-12-25 20:11:18 · 735 阅读 · 0 评论 -
MapReduce典型编程场景——全局计数器
主要讲MapReduce中全局计数器的用法原创 2017-12-14 20:02:18 · 708 阅读 · 0 评论 -
MapReduce典型编程场景——TopN算法自定义GroupComparator
主要介绍MapReduce编程场景中TopN场景原创 2017-12-14 19:51:03 · 768 阅读 · 0 评论 -
MapReduce典型编程场景——多Job串联
主要说一下多job串联的使用方法原创 2017-12-14 19:46:10 · 1636 阅读 · 0 评论 -
HDFS原理剖析
主要讲HDFS运行机制,以及NameNode、SecondaryNamenode、DataNode的运行机制原创 2017-12-04 16:36:07 · 292 阅读 · 0 评论 -
HDFS核心设计
主要介绍HDFS设计的核心思路原创 2017-12-01 18:47:19 · 345 阅读 · 0 评论 -
MapReduce常用三大组件
主要介绍MapReduce中的的三大组件,Partitioner分区,sort排序,Combiner局部分区原创 2017-12-09 14:55:33 · 3875 阅读 · 0 评论 -
MapReduce基础入门
主要介绍hadoop的计算框架MapReduce原创 2017-12-09 14:44:58 · 413 阅读 · 0 评论 -
HDFS基础使用
主要介绍hadoop中HDFS的架构,以及常用shell命令。原创 2017-11-30 22:14:08 · 537 阅读 · 0 评论 -
Hadoop集群搭建
主要介绍Hadoop集群的搭建原创 2017-11-29 14:13:08 · 366 阅读 · 0 评论 -
IDEA搭建hadoop开发环境
准备工作:1、在官网下载hadoop包 https://hadoop.apache.org/releases.html2、有两个包,hadoop-2.8.4.tar.gz 是hadoop安装包 ; hadoop-2.8.4-src.tar.gz 主要是开发环境需要的lib的jar包。3、需要安装JDK,并配置环境变量。配置的时候,需要注意,安装时候有jd...原创 2019-05-21 15:38:10 · 4653 阅读 · 0 评论