![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大名小胖纸
只有不断的学习,才能更加的完善自己.......
展开
-
初探大数据之配置环境变量(JDK、Hadoop)
一、电脑环境准备 我这里用的是VMware Workstation 11 + CentOS-6.10-x86_64-bin-DVD1.iso 至于以上两个软件的安装,百度上一抓一大把。二、Hadoop和Linux版的jdk,我这里用的hadoop-2.7.2,jdk用的是1.7 (据说不同版本的hadoop得对应不同版本的jdk,否则会出现...原创 2019-01-10 15:17:00 · 816 阅读 · 0 评论 -
初探大数据之本地运行Hadoop wordcount和grep案例
经过上上一章博客的介绍,大概了解了hadoop框架的作用和技术组成。同时,在上一章中,配置了hadoop和jdk的环境变量。这一章,体验一下hadoop魅力,虽然说是体验hadoop的魅力,其实我知道,我根本连hadoop的门都还没有踏入,但是我相信,任何事都是由简到难,只要我能坚持下去,总会有那么一天的...... 就像当初学习java一样,起初都会从“Hell...原创 2019-01-13 10:38:13 · 1221 阅读 · 5 评论 -
初探大数据-序言
初学大数据,总想写点什么,但是又碍于自己没有文采,于是这件事情便被自己放下了。学习大数据半个月了,又觉得不记录点什么,仿佛自己的生活没有曾经。今天,我终于拿起了笔......2018年年末,入职一家公司,因为刚开始未分配电脑和工位,领导就安排一个临时工位给我,让我白天没事就看看书。刚开始组长给我一本《阿里巴巴java开发手册》小手册,于是,第一天在它的陪伴下,困意十足地过去了......原创 2019-01-08 12:49:38 · 337 阅读 · 0 评论 -
初探大数据之常用Linux命令
ls :显示当前目录下的文件信息pwd : 显示当前目录文件位置vi :编辑文件 --vi test.txttouch :创建空文件 -- touch test.txtifconfig :查看IP地址hostname : 查看主机名称sync:把内存中的数据持久化到硬盘中reboot:重启计算机,相当于shutdown -r now,如果是1分钟之后重启,则 shut...原创 2019-01-08 13:52:24 · 264 阅读 · 1 评论 -
初探大数据之Hadoop简介
一、Hadoop的主要作用 Hadoop主要解决海量数据的存储和海量数据的分析计算。二、Hadoop框架技术的组成1、HDFS: HDFS是一个文件系统,用来存储文件的,通过元数据来定位文件的位置和大小等;再者,HDFS是分布式的,有很多服务器联合起来实现其功能,集群中的服务器都有着各自的角色。HDFS的设计,适合一次写入,多次读出的场景,不支持文件的修...原创 2019-01-10 09:51:06 · 206 阅读 · 0 评论 -
初探大数据之基于Hadoop的MapRduce和spark(scala语言编写)的wordcount示例
一、Hadoop的MapRduce编写WordCount简单版的WordCount示例需要三个java类,*Mapper、*Reducer和*Driver,其中*Mapper和*Reducer这两个类有需要继承的父类。1、创建WordCountMapper类,继承Mapper,并且重写其中的map方法import org.apache.hadoop.io.IntWritable;i...原创 2019-07-02 15:55:53 · 262 阅读 · 0 评论