- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop-day02-hdfs机制及mr开发
1 HDFS机制 namenode 负责元数据的管理 处理client的读写的请求 datanode 数据块本身 数据块的元数据（数据块的长度，块数据的校验和，以及时间戳） 心跳 namenode启动后，datanode向namenode进行注册，然后周期性的发送心跳信号； 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令；比如删除块...
2020-01-16 20:11:42
183
原创 hadoop的安装和介绍
1 大数据 1.1 大数据概念 大数据（big data）， IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 1.2 大数据的特征 Volume（大量）、 Velocity（高速）、 Variety（多样）、 Value（价值高、价值密度低）、 Veracity...
2020-01-16 20:09:39
157
原创 github博客绑定域名
1.购买域名 2.设置域名，解析映射参照上图，复制自己的github域名，用cmd命令ping,获取IP地址。 3.注册github账号，设置博客。看我的博客搭建。 4.在github主页仓库里新建一个文件CNAME.txt输入自己的买的域名 5.在本地的博客的根目录的source文件夹下的新建一个文件CNAME.txt输入自己的买的域名 ...
2020-01-13 19:19:19
311
原创 搭建个人博客
1.下载安装nodejs 2.安装git 3.通过git命令窗口 npm install -g cnpm --registry=https://registry.npm.taobao.org 4安装hexo框架 cnpm install hexo-cli -g hexo -v 5.创建博客目录 E:/github/Myblog 6.进入E:/github/Myblog文件夹下执行 hexo ini...
2020-01-10 20:40:03
122
原创 oozie安装及使用
oozie （会用！） 任务调度框架 当一个项目中出现多个shell、MapReduce、hql、sqoop类型的任务时 并且这些任务之前存在一种依赖关系时，需要借助专业的任务调度框架完成任务流的定义控制 oozie可以实现 多个任务执行的顺序控制 job1->job2->job3/job4->job7 .. 多个任务组成的一个任务流的执行频...
2020-01-06 18:38:11
402
原创 Hue安装及使用
hue框架 （会用） **cloudera公司开源 http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.2/ 大数据的web工具，hue为其他以hadoop为基础的生态圈中的几乎所有的框架通过了一个基于web-ui平台的统一的操作或监控平台 通过hue的web平台可以对其他的框架进行哪些操作呢 hdfs 可以对hdfs...
2020-01-06 17:57:51
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人