大数据
JaxHIn
这个作者很懒,什么都没留下…
展开
-
《大数据Hadoop高性能企业专家实战视频课程》笔记
一、课程大纲课程目录: 第1章课程大纲介绍12分钟1节 1-1课程大纲介绍[免费观看]12:21 第2章大数据的基础介绍20分钟1节 2-1大数据的基础介绍[免费观看]20:52 第3章大数据带来的影响24分钟2节 3-11-云计算介绍[免费观看]13:34 3-22-物联网及3者关系10:46 第4章ClouderaManager安装配置13分钟2节 4-11-Ce原创 2018-01-27 17:30:56 · 779 阅读 · 0 评论 -
Centos虚拟机部署CDH以及HDFS的操作
1、第一步是要部署java环境和安装ssh,首先在根目录建两个文件夹software和app分别存放安装包和解压后的文件: 把安装好的jdk-8u161-linux-x64.tar和hadoop-2.6.0-cdh5.14.0.tar上传到software文件夹。然后把jdk解压到app目录下: tar -zxvf jdk-8u161-linux-x64.tar.gz -C ~/app...原创 2018-02-09 19:33:57 · 7813 阅读 · 3 评论 -
分布式资源调度框架YARN
1、目录: YARN产生背景(下图为MapReduce1.x的架构): (1) (2) (3) (4)总结: YARN概述: YARN架构(重点): 参考:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-yarn/hadoop-yarn-site/YARN.html...原创 2018-02-10 17:35:04 · 314 阅读 · 0 评论 -
分布式处理框架MapReduce
目录: 参考: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html1、MapReduce概述2、MapReduce编程模型之通过wordcount词...原创 2018-02-11 16:59:01 · 897 阅读 · 0 评论 -
idea配置scala开发环境
1、新建scala项目,报错。 搜索:sbt设置MaxPermSize 原因: (1)https://www.douban.com/group/topic/45016729/ (2)https://www.douban.com/note/311383726/ 解决方法: https://www.cnblogs.com/30go/p/7909630.html...原创 2018-07-08 16:16:47 · 1817 阅读 · 0 评论