大数据
free_ygh
这个作者很懒,什么都没留下…
展开
-
十. 大数据技术之hadoop(6)
资源调度平台yarn,主从结构,主节点ResourceManager,从节点NodeManager在home目录下创建一个文件data.txt, 里面随便编辑一些用于测试的语句,然后将文件上传到HDFS上的/input目录下接下来进入share/hadoop/mapreduce目录,其中有一个叫hadoop-mapreduce-example*****的jar包,里面包含了用java编写的mapr...原创 2018-03-02 23:02:30 · 216 阅读 · 0 评论 -
九.大数据技术之hadoop(5)
HDFS的体系结构NameNode: HDFS的主要管理者;接受客户端的请求,比如说,将本地文件上传到HDFS上;维护文件的元信息(fsimage文件)和操作日志(edit文件)文件的元信息(fsimage文件):一个文件上传到HDFS上,文件会被切成一份份的数据块,记录这些数据块的文件就是文件的元信息打开虚拟机,进入 ~/training/hadoop-2.7.3/tmp/dfs/name/cu...原创 2018-03-02 20:32:59 · 1031 阅读 · 0 评论 -
八.大数据技术之hadoop(4)
本次介绍ssh免密码登录,linux当中ssh一种网络传输的一种安全协议首先查看.ssh目录,发现只有know_hosts文件,没有公钥,也没有私钥第一步ssh-keygen -t rsa产生密钥对私钥.ssh/id_rsa留给自己的, 公钥id_rsa.pub留给别人的第二步,ssh-copy-id -i .ssh/id_rsa.pub roo@hadoop111, 将自己的公钥拷贝给别人,本次...原创 2018-03-01 18:06:48 · 221 阅读 · 0 评论 -
七.大数据技术之hadoop(3)
介绍hadoop环境的搭建hadoop安装模式有三种,本地模式,伪分布模式,全分布模式,本地模式不做介绍,本次介绍hadoop伪分布模式的搭建(一台linux虚拟机),后面介绍全分布模式的搭建(至少三台linux虚拟机)安装前的准备工作,关闭防火墙,JDK的安装,设置主机名使用winscp工具将hadoop安装包上传到linux的tools目录下(以后组件安装包都上传到tools下)进入tools...原创 2018-03-01 15:25:51 · 290 阅读 · 0 评论 -
六、大数据技术之hadoop(2)
google公司的三篇论文资源链接:http://blog.csdn.net/zhangt85/article/details/43152843GFS: Google file system(谷歌公司的文件系统),谷歌分布式文件系统,HDFS(Hadoop Distributed File System)是基于GFS的开源实现,举例,百度云盘大数据存储面临两个问题,第一,数据量太大,硬盘不够大,第...原创 2018-02-28 23:01:24 · 247 阅读 · 0 评论 -
五. 大数据技术之Hadoop(1)
大数据概念巨量数据集合,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合4V 特性:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)网上对于大数据概念的叙述有很多,这里不多做叙述大数据要解决的核心问题大量的数据如何存储(分布式文件系统HDFS)大量的数据如何计算(分布式计算MapReduce)举例:商品推荐:大量的订单如何存储?大量...原创 2018-02-28 22:47:59 · 327 阅读 · 0 评论 -
二,大数据之Linux基础(2)
承接大数据之Linux基础(1)看到上面这个界面表示虚拟机创建成功,然后下一步加载ios镜像文件镜像文件ios下载地址:http://mirrors.ustc.edu.cn/然后点击编辑虚拟机设置选项,选择CD/DVD,选择使用ISO镜像文件找到下载好的ISO文件,点击确定点击开启此虚拟机,选择Install Red Hat Linux 7.4 选项点击continue,默认语言都用英文点击dat...原创 2018-02-27 23:00:03 · 249 阅读 · 0 评论 -
一.大数据之Linux的基础(1)
安装VMware12请自行去百度云盘上下载VMware12.rar,下载完成之后解压下一步安装即可,参考http://jingyan.baidu.com/article/2d5afd69c45ba685a2e28ee2.html在VMware12上安装redhat7.4打开VMware点击新建虚拟机点击自定义(高级)这里选择最后一项稍后安装操作系统这里选择选择Linux的操作系统版本,这里选择Re...原创 2018-02-27 21:43:26 · 725 阅读 · 0 评论 -
十一. 大数据技术之hadoop(11)
三种操作HDFS的方式第一种,web控制台的方式,启动HDFS环境,在本地浏览器上输入linuxIP地址:50070可以看到HDFSweb控制界面第二种:linux命令行的方式操作命令 : hdfs dfs *********, 与linux命令类似具体参考 http://blog.csdn.net/zhaojw_420/article/details/53161624管理命令: hdfs d...原创 2018-03-04 16:12:41 · 305 阅读 · 0 评论