hadoop linux提交任务

jobcommit package WordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;...

2019-03-20 23:03:20

阅读数 35

评论数 0

hadoop IDE提交任务

package WordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import or...

2019-03-20 23:02:40

阅读数 30

评论数 0

hadoop 问题

1 Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024 conf.set(...

2019-03-20 23:01:45

阅读数 21

评论数 0

hadoop 配置文件

core-default.xml hdfs-default.xml mapred-default.xml yarn-default.xml core-default.xml 在hadoop-common-2.8.1.jar包里 参数 默认值 描述 fs.defaultFS file...

2019-03-20 22:58:36

阅读数 22

评论数 0

hdfs java api读写

package hdfs24; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.Arrays; import org.apache.had...

2019-03-14 20:57:58

阅读数 30

评论数 0

hadoop 文件介绍

`-- hadoop-2.8.1 |-- bin |-- etc |-- include |-- lib |-- libexec |-- logs |-- sbin `-- share ./hadoop-2.8.1/share |-...

2019-03-14 20:56:37

阅读数 21

评论数 0

hdfs和日志业务系统

2019-03-14 20:55:59

阅读数 11

评论数 0

hdfs 基本操作

5、hdfs的客户端操作 hdfs的客户端有多种形式: 1、网页形式 2、命令行形式 客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网 配置文件的切块大小和存储的副本数量 上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置 &amp...

2019-03-14 20:55:21

阅读数 9

评论数 0

hadoop 集群配置

2、修改配置文件 要点提示 核心配置参数: 指定hadoop的默认文件系统为:hdfs 指定hdfs的namenode节点为哪台机器 指定namenode软件存储元数据的本地目录 指定datanode软件存放文件块的本地目录 hadoop的配置文件在:/root/apps/ha...

2019-03-14 20:54:42

阅读数 17

评论数 0

virtualbox 网络配置

1.在全局配置里设定网络基本配置 默认网关是10.0.2.0 2.给虚拟机单独设置

2019-03-14 20:50:13

阅读数 6

评论数 0

hadoop 集群模板机配置

模板机配置 1.配置主机名 vi /etc/sysconfig/network 如果有显示不正常,用以下命令 # sysctl kernel.hostname=master 2.配置域名映射 vi /etc/hosts 192.168.43.11 master edu-master 192.168...

2019-03-14 20:48:38

阅读数 10

评论数 0

hadoop 概要

处理海量数据的核心技术: 海量数据存储:分布式 海量数据运算:分布式 存储框架: HDFS——分布式文件存储系统(HADOOP中的存储框架) HBASE——分布式数据库系统 KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛) 运算框架:(要解决的核心问题就是帮用户将处理逻辑在很多机...

2019-03-14 20:46:51

阅读数 23

评论数 0

Hbase

面向行数据库 事务型 面向列数据库 分析型Hbase和SQL的区别 特点 Hbase SQL 存储的数据类型 存储为字节 各种数据类型,比如int,char 数据操作 没有多表连接 有多表连接 存储模式 基于列存储 基于行存储 数据索引 ...

2017-10-16 12:43:33

阅读数 223

评论数 0

HIVE

目标不同,设计需求就不同 业务仓库需要考虑三范式 数据仓库不用三范式,用宽表,以空间换时间星型模型 把所有事实放在一个表里面,关联维度力度表hive是局域hadoop的一个数据仓库,将结构化的数据文件映射为一张数据表,提供SQL查询功能,封装了mapreduce HIVE将SQL语言编译...

2017-10-13 10:33:31

阅读数 554

评论数 2

mapreduce

总流程1.首先启动MRAppMaster,根据job的描述信息,计算所需要的maptask的数量,向集群请求启动maptask 2. 通过定义的map()方法将数据处理成mapTaskmaptask的数量默认是由待处理数据的逻辑切片决定,每个逻辑切片对应一个maptask。 切片的大小默认等于...

2017-10-12 14:30:28

阅读数 186

评论数 0

HDFS

HDFS上传文件1 客户端:向namenode请求上传文件,请返回批准 1 namenode:可以上传 2 客户端:请求上传第一个block(0-128M),请返回datenode 2 namenode: 综合考虑空间/距离,返回若干datenode(dn1,dn2,dn4)。 3 客户端...

2017-10-12 09:57:15

阅读数 178

评论数 0

hadoopstreaming

设置key-value的分隔符 -D stream.map.output.field.separator=. -D stream.num.map.output.key.fields=4 第4个”.”之前的是key,之后的是value,如果”.”小于4个则全部为key,value为空 ...

2017-09-28 15:00:32

阅读数 167

评论数 0

hadoop集群部署

配置用户设置新账户<登录配置>useradd hadoop passwd hadoop设置ip<登录配置>vim /etc/sysconfig/network-scripts/ifcfg-eth0BOOTPROTO=static //静态地址 ONBOOT=yes //开...

2017-09-18 15:01:15

阅读数 373

评论数 0

hadoop

VirtualBox安装centos6.5

2017-09-15 11:43:58

阅读数 310

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭