大数据平台相关
文章平均质量分 64
蓁蓁尔
A goal is a dream with a deadline.
展开
-
HDFS架构(传统架构 和 2.0中高可用+联邦架构)学习笔记
一、传统架构:如上图所示,hadoop1中HDFS分为:1个NameNode节点(NN,主) + 1个Second NameNode节点(SNN,主) + N个 DataNode节点(DN,从)。文件写入和读取过程详见:http://computerdragon.blog.51cto.com/6235984/12876601.DN负责存储和控制数据,客户端通过虚拟的文件目录原创 2016-04-02 13:18:11 · 1719 阅读 · 0 评论 -
hadoop2.4.1完全分布式搭建
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->原创 2016-03-26 08:38:58 · 633 阅读 · 0 评论 -
ssh免密码登陆简单原理
注1:黑色为配置过程,红色为验证登录过程注2:在配置hadoop分布式集群时,要使用SSH免密码登陆,具体代码实现见 hadoop2.4.1完全分布式搭建 最后部分原创 2016-03-26 08:42:08 · 656 阅读 · 0 评论 -
Spark 1.6.2 单机版安装配置
本文将介绍Apache Spark 1.6.2在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。转载请注明博客原文地址:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.原创 2016-10-19 21:24:00 · 2560 阅读 · 0 评论 -
使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境
在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群生产环境中运行,使用IDE可以提升我们的开发效率。转载请注明博客原文地址:http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-y原创 2016-10-19 21:53:02 · 3276 阅读 · 0 评论