hadoop
文章平均质量分 95
joob000
这个作者很懒,什么都没留下…
展开
-
Hadoop集群环境搭建 与Hdfs
Hadoop部分 一、修改Hostname 命令:[root@hadoop01 ~] vi /etc/sysconfig/network 打开文件后,(每个虚拟机主机名不同) NETWORKING=yes #使用网络 HOSTNAME=hadoop01 #设置主机名 二、赋予虚拟机ip地址 根目录下 : vi reset_ip.sh me=$(cat /etc/udev...原创 2018-12-27 19:26:15 · 620 阅读 · 0 评论 -
MapReduce
一、MapReduce简介 MapReduce是Google的一项重要技术,它首先是一个编程模型,用对于大数据量的计算,通常采用的处理手法就是并行计算。以进行大数据量的计算。MapReduce通过简化编程模型,降低了开发并行应用的入门门槛。 (1)Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义:一是数据或计算的规模相对原任务要大大缩小;二是就...原创 2019-01-09 13:39:48 · 516 阅读 · 0 评论 -
maven
Maven快速入门 1. 下载Maven 官方地址:http://maven.apache.org/download.cgi 解压并新建一个本地仓库文件夹 2.配置本地仓库路径 C:\apache-maven-3.5.2\conf\settings.xml line:46 <localRepository>E:\MavenRepository...转载 2019-01-09 13:46:31 · 97 阅读 · 0 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
Windows7出现这个问题 需要在你的 Module下创建一个名为org.apache.hadoop.io.nativeio的包 在这个包下创建一个Class 名为 NativeIO 然后粘贴如下代码 /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor licens...转载 2019-03-13 20:37:58 · 1129 阅读 · 0 评论