大数据作业总结

原创 2018年04月14日 23:22:32

大数据作业总结

题目:使用 Ambari 部署 mesos 服务(构建自定义服务),并在该 mesos 上执行 spark 任务
完成状态:截止目前,暂未按要求完成题目
参考博客:印象笔记-数据挖掘, Evernote-大数据

总结:

  1. spark可以在mesos服务上搭建,也可以独自搭建,在mesos上搭建可以方便集群管理
  2. 在ambari上可以实现mesos的集群管理功能
  3. 未完成的原因:在三台虚拟机上搭建,一台作为master,两台作为slave,初期一直成功,在最后安装过程中,出现了以下两个错误,导致无法完成:
    a. hdp源配置不正确,在最后插入过程中,无法安装最后的服务
    b. 笔记本性能有限,在安装过程中,以及在最后虚拟机启动后,造成大量占用CPU和内存,无法正常工作
  4. 改进措施:
    (1) 尝试运用mesos搭建,在云服务器上搭建,mesos搭建过程中,巨耗性能
    (2)用spark的Standalone模式搭建,先完成实验

大数据系统与大规模数据分析 之 作业二

大数据系统与大规模数据分析 之 作业二 问题描述 Hadoop编程 程序源码大数据系统与大规模数据分析 之 作业二问题描述作业二:Hadoop编程 总体任务 输入文件: 文本文件 source d...
  • a550461053
  • a550461053
  • 2017-06-26 18:01:00
  • 431

大数据系统与大规模数据分析 之 作业三

大数据系统与大规模数据分析 之 作业三 问题描述 SSSP编程 同步图计算 程序源码 大数据系统与大规模数据分析 之 作业三问题描述作业三:同步图运算编程 总体任务 实现SSSP的图运算 输入:图,...
  • a550461053
  • a550461053
  • 2017-06-26 18:21:10
  • 300

2018-1-22大数据作业

1.什么是大数据技术  ,及其特点 答:无法用现有的软件工具提取、存储、共享、分析和处理的海量的 复杂的数据集合。 特点:体量大、价值、类型多、速度快。 2.数据仓库Datawarehouse ...
  • Zxb0705
  • Zxb0705
  • 2018-01-22 20:05:55
  • 178

大数据学习笔记总结

自己总结的这些知识点都是从赵勇编写的架构大数据-大数据技术及算法分析这本书上总结的。 在接触这本书之前,自己对于大数据的概念还很模糊,对于大数据和云计算的差别还是很不清楚,看完书之后,总结一下几点:...
  • xuqiaobo
  • xuqiaobo
  • 2017-03-09 20:12:15
  • 1297

大数据知识总结

1、YARN:只负责程序运行所需资源的分配回收等调度任务,与应用程序的内部运行机制无关,所以 YARN已经成为一个通用的资源调度平台,许许多多的运算框架都可以借助它来实现资源管理,比如: MR/SPA...
  • qq_27657429
  • qq_27657429
  • 2017-02-02 10:39:43
  • 740

实习总结和大数据BI

时光匆匆,随着长大,一年的时光总感觉晃眼间已成为过去,回顾2016这一年,房子的用途从住的质变成炒的;三星手机默默出了个炸,其他厂商无力的表示要不起;英国脱欧了;奇异的黑马特朗普也站起来了,我自己貌似...
  • u014446838
  • u014446838
  • 2017-02-01 17:26:10
  • 2272

web学习阶段总结(3)大作业小结

对这段时间web学习做一些总结: 期末大作业选择的题目是: 做一个使用Video API的页面程序,要求内容是有关在线视频播放的,video必须是自己录制的。 因为考虑到作业的实用性,我把它完善...
  • yz764127031
  • yz764127031
  • 2017-06-06 21:46:43
  • 474

大数据技术总结

二、数据层 1、SQL GBase MonetDB 2、NoSQL HBase Cassandra MongoDB 3、缓存 Redis Memcached 三、计算层 1、内存计算 Spark ...
  • yfx000
  • yfx000
  • 2016-06-22 22:32:15
  • 1258

2015年大数据年终工作总结

2015年大数据年终工作总结 今天是2016年第7天,现在来回顾下过去的2015年在大数据研发上的点点滴滴,总结如下三个方面: 一、大数据研发技术路线 2015年大数据技术依...
  • china_world
  • china_world
  • 2016-01-07 14:03:53
  • 3100

课程作业——大数据概述

1.大数据概述 大数据按照个人理解就是一个’大’字为主,以大量的数据来提供有用的数据资源。通过各种方式或者方法分析、统计数据得到有价值的信息。比较官方的说法可以查看百度百科 2.大数据对思维方式的...
  • lger_Pro
  • lger_Pro
  • 2018-03-07 16:13:45
  • 45
收藏助手
不良信息举报
您举报文章:大数据作业总结
举报原因:
原因补充:

(最多只允许输入30个字)