hadoop
文章平均质量分 76
HelloSophiababy
这个作者很懒,什么都没留下…
展开
-
HDFS的java客户端编写
package it.cast.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.commons.io.IOUtils; import org.原创 2017-07-03 14:09:16 · 483 阅读 · 0 评论 -
hadoop伪分布式搭建
1、准备linux环境 安装VMware与CentOs 1.1修改主机名 vi /etc/sysconfig/network 1.2 关闭防火墙 #查看防火墙状态:service iptables status #关闭防火墙:service iptables stop #查看防火墙开机启动状态:chkconfig iptables --list #关闭防火墙开机启动:chkconf原创 2017-07-01 14:00:20 · 301 阅读 · 0 评论 -
MapReduce详解
目标: 掌握MapReduce分布式运算框架的编程思想 掌握MapReduce常用算法的编程套路 掌握MapReduce分布式运算框架的运行机制,具备一定的自定义开发能力 1、MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。 2、为什么要用MapRedcue A.原创 2017-06-16 14:05:16 · 550 阅读 · 0 评论 -
Hadoop初识
目标: 建立大数据和分布式的宏观概念 理解Hadoop是什么,用于做什么,怎么用 理解hive是什么,用于做什么,怎么用 了解数据挖掘的基本流程和结构 1、Hadoop是apache旗下的一套开源软件平台。 提供的功能:利用服务器集群,根据用户的自定义的业务逻辑,对海量数据进行分布式处理。 核心组件:A.HDFS--分布式文件系统 B.YARN--运算资源原创 2017-06-15 18:38:16 · 402 阅读 · 0 评论