apiece1的博客

原创 Hadoop运行模式

什么是？ Hadoop Common HDFS Hadoop YARN Hadoop MapReduce 官方WordCount案例 1、创建在hadoop-2.7.2文件下面创建一个wcinput 2、在wcinput文件下创建一个wc.input文件 3、编辑wc.input文件 4、回到Hadoop目录、opt/module/hadoop-2.7.2 5、执行程序 6、查看结果 4.2伪分布式模式 配置是按多台服务器搭的但其实只有一台 适合电脑配置一般的用来学习测试 etc/hadoop/core-s

原创 Hadoop——从Hadoop框架讨论大数据生态(二)

2.5.3 MapReduce 框架概述 MapReduce 将计算过程分为两个阶段：Map和Reduce 1）Map阶段并行处理输入数据 2）Reduce阶段对Map结果进行汇总 2.6 大数据技术生态体系 数据来源层： 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） 数据传输层： Sqoop数据传递 Flume日志收集 Kafka消息队列 数据存储层： HDFS文件存储 HBase非关系型数据库 Kafka消息队列 资源管理层： YARN资源管理 数据计算层： MapRe

原创 Hadoop——从Hadoop框架讨论大数据生态

2.1 Hadoop是什么 1）是一个由Apache基金会所开发的分布式系统基础架构 2）主要解决，海量数据的存储和海量数据的分析计算 3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2.2 Hadoop发展历史 Doug Cutting开创 可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）GFS–>HDFS Map-Reduce–>MR BigTable–>HBase 2.3 Hadoop三大发行版本 三大发行版本：Apache、

原创 Hadoop——HDFS文件下载

3.2.2 HDFS文件下载 1、获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI(“hdfs://hadoop102;9000”), conf ,“atguigu”); 2、执行下载操作 //fs.copyToLocalFile(new Path(“路径”），new Path(“路径”))； fs.copyToLocalFile(false, new Path(“路径”), new

原创 Hadoop——HDFS文件上传（测试参数优先级）

3.2 HDFS的API操作 3.2.1HDFS文件上传 一、编写代码 （1）获取文件系统 （2）上传文件 （3）关闭资源 1、文件上传： @Test public void testCopyFromLocalFile（） （1）获取fs对象 Configuration conf = new Configuration(); FileSystem.get(new URI(“hdfs://hadoop102:9000”), conf ,“用户名称”)； （2）执行上传API fs.copyFromLocalF

原创 排序

原创 第七章

原创 第七章

原创 第六章

原创 第五章

原创 第四章

原创 第三章

原创 第二章

原创 第一章

原创 绪论