大数据
文章平均质量分 83
qq_37451173
这个作者很懒,什么都没留下…
展开
-
指导手册01:安装Hadoop.md
指导手册01:安装HadoopCentOS-6.8Part 1:安装及配置虚拟机1. 安装Linux.(1)打开VMvirtualBox(2) 控制->新建虚拟机,输入虚拟机名称“marst+学号” 类型:Linux,版本:otherLinux(64-bit)CentOS-6.8-x86_64-bin-DVD1(3)内存建议1024M, 创建虚拟盘VHD虚拟硬盘,动态分配,硬...原创 2018-10-05 09:42:55 · 361 阅读 · 0 评论 -
指导手册02:伪分布式安装Hadoop(ubuntuLinux).md
指导手册02:伪分布式安装Hadoop(ubuntuLinux)Part 1:安装及配置虚拟机1. 安装Linux.1.安装Ubuntu1604 64位系统2.设置语言,能输入中文3.创建hadoop账户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoop//输入2遍密码sudo adduser hadoop sudo #设置...原创 2018-10-05 09:57:45 · 223 阅读 · 0 评论 -
指导手册03:Hadoop基础操作.md
指导手册03:Hadoop基础操作Part 1:查看Hadoop集群的基本信息1.查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/请查看自己的Hadoop集群填写下表Configured Capacity:己配置的文件系统存储总量DFS Remaining :可使用的DFS存储总量Non DFS Used 被非DFS的...原创 2018-10-05 10:04:37 · 559 阅读 · 0 评论 -
指导手册04:运行MapReduce.md
指导手册04:运行MapReducePart 1:运行单个MapReduce任务情景描述:本次任务要求对HDFS目录中的数据文件/user/root/email_log.txt进行计算处理,统计出第个用户的登录次数。情景分析:统计出每个用户登录次数,等同于求出每个email出现的次数,可以进一步抽象为统计每个单司出现的频次。在Hadoop官方提供的示例包中,正好有进行记频统计的模块。1....原创 2018-10-05 10:06:34 · 238 阅读 · 0 评论 -
指导手册05:MapReduce编程入门.md
指导手册05:MapReduce编程入门Part 1:使用Eclipse创建MapReduce工程情景描述:因为Hadoop本身就是由Java开发的,所以通常也选用Eclipse作为MapReduce的编程工具,本小节将完成Eclipse安装,MapReduce集成环境配置。1.下载与安装Eclipse(1)在官网下载Eclipse安装包“Eclipse IDE for Java EE...原创 2018-10-05 10:08:58 · 870 阅读 · 1 评论 -
指导手册06:HBase安装部署.md
指导手册06:HBase安装部署配置环境1.参考文件:https://www.cnblogs.com/lzxlfly/p/7221890.htmlhttps://www.cnblogs.com/sixiweb/archive/2013/02/20/2919305.html2.操作系统:centos3.四台虚拟机:master :10.0.2.4, slave1:10.0.2.5,sla...原创 2018-10-05 10:20:26 · 336 阅读 · 0 评论