大数据
文章平均质量分 82
Mr_sunrise
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建
因为spark中需要用到hadoop中的hdfs文件系统,所以在装好spark后需要再次基础上安装hadoop配置ip,jdk,修改hostname等,因为之前已配置好,这里不需要配置。(详情可见上一篇spark集群搭建:http://blog.csdn.net/mr_sunrise/article/details/74942660)配置hadoop文件:解压hadoo原创 2017-07-11 14:16:40 · 418 阅读 · 0 评论 -
mesos集群安装
mesos安装攻略:(安装环境ubuntu14.04,安装过程中保持尽量联网状态)在官网下载mesos源码(我用的mesos-1.2.0)利用./configure(检查安装环境,如编译环境和所需依赖包是否安装,生成makefile文件),make(执行makefile文件,确定在什么位置安装mesos),makeinstall(安装)因为mesos需要许多依赖包,所以在进行con原创 2017-07-11 14:21:39 · 839 阅读 · 0 评论 -
docker跨主机容器访问(网桥实现)
本篇文章主要讲述利用网桥方式实现docker跨主机容器访问,参考文章:Docker网络基础---Docker跨主机容器访问通信 (http://blog.csdn.net/canot/article/details/52895897) 在同一宿主机下的Docker的容器之间是默认互相联通的。在容器内通过ifconfig可以查看到ip地址。在不同的容器中来执行ping是可以ping通的。但我们通过观原创 2017-07-15 10:20:20 · 4923 阅读 · 0 评论 -
上传docker镜像到docker hub
Docker hub地址为[https://www.docker.com/] 先创建自己的镜像仓库: 注册成功后点击sign in登录进去 点击create repository 填写好name,点击create即创建成功镜像仓库 开始上传: 查看需要上传的镜像$ docker images登录到docker hub$ docker login现在修改你的镜像文件标签,标签如果和原创 2017-07-15 11:07:41 · 2635 阅读 · 0 评论 -
SparkStreaming在启动执行步鄹和DStream的理解
目录:SparkStreaming启动执行步鄹:DStream和Rdd的理解Linux中发送数据SparkStreaming代码如下结果展示:————————————————————————————————————————–SparkStreaming启动执行步鄹:1、加载SparkConf和StreamingContext 2、建立DStream接收器val lines = ssc.socket转载 2017-07-21 14:52:48 · 631 阅读 · 0 评论 -
NameNode和SecondaryNameNode关系解析
HDFS集群在启动后会有三个守护进程:NameNode,SecondaryNameNode和DataNode。我们都知道DataNode是用来存放数据的位置,那么NameNode和SecondaryNameNode的关系又是怎么样的呢?许多初学者根据名字可能会以为当NameNode出现故障时,SecondaryNameNode会自动成为新的NameNode,也就是NameNode的“热备”。通过下面原创 2017-07-18 10:48:34 · 3041 阅读 · 0 评论 -
YARN的架构
YARN还是传统的主从(master/slave)架构,如下图所示 YARN服务由ResourceManager和NodeManager两类进程组成,Container是YARN的资源表示模型,在任何类型的计算框架的作业都可以运行在Container中,ApplicationMaster是YARN的二级资源调度器,它也运行在Container中。ResourceManager YARN的资源原创 2017-07-18 17:30:22 · 795 阅读 · 0 评论