- 博客(26)
- 收藏
- 关注
RSS订阅原创 大数据框架Hadoop和Spark的区别关系
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关，但是它们又有什么不同呢？谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数...
2019-07-29 22:00:06
194
原创 怎样进行大数据的入门级学习？
数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法都可以来对付数据大数据从狭义上来看，我认为数据科学就是解决三个问题：1. data pre-processing;(数据预处理）2. data interpretation；（数据解读）3.data modeling and analysis.（数据建模与分析）这...
2019-07-29 22:00:04
138
原创 数据科学家告诉你5个学习大数据的正确姿势！
对于数据科学来说，现在是发展的黄金时期。这是个新领域，但增长迅速，同时数据科学家的缺口也很大，据说他们的平均年薪可以达到10万美元。哪里有高薪，哪里就吸引人们，但是数据科学技能的差距意味着许多人需要努力学习。第一步当然是询问“我怎么学习数据科学”，这个问题的答案往往是一长串的课程和书籍阅读，从线性代数到统计数据，这几年我也是这样学习过来的。我没有编程背景，但我知道我喜欢处理数据。我比较不能...
2019-07-29 22:00:02
156
原创 大数据框架hadoop全面解析，不浪费每一分性能
Hadoop平台上有各种各样的运维度量对任务状态、错误、计算资源、存储等进行测量，从而帮助用户了解平台的健康状况，进而提高用户体验。对于产品经理来讲，了解产品的使用情况是最为重要的事情之一。不过，对于Hadoop平台这样的产品来讲这件事情就有点飘忽不定了。Hadoop平台上有各种各样的运维度量对任务状态、错误、计算资源、存储等进行测量，从而帮助用户了解平台的健康状况，进而提高用户体验。对于消费...
2019-07-29 22:00:01
248
原创 大数据框架基础入门Hadoop教程
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。“90％的世界数据在过去的几年中产生”。由于新技术，设备和类似的社交网站通信装置的出现，人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式，它可以...
2019-07-27 11:57:53
195
原创 大数据框架基础入门Hadoop大数据解决方案
传统的企业方法在这种方法中，一个企业将有一个计算机存储和处理大数据。对于存储而言，程序员会自己选择的数据库厂商，如Oracle，IBM等的帮助下完成，用户交互使用应用程序进而获取并处理数据存储和分析。局限性这种方式能完美地处理那些可以由标准的数据库服务器来存储，或直至处理数据的处理器的限制少的大量数据应用程序。但是，当涉及到处理大量的可伸缩数据，这是一个繁忙的任务，只能通过单一的数...
2019-07-27 11:57:46
195
原创 大数据框架基础入门Hadoop是什么？
Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。Hadoop的架构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)，以及 存储层(Hadoo...
2019-07-27 11:57:40
230
原创 大数据框架基础入门Hadoop环境安装设置
Hadoop由GNU/Linux平台支持(建议)。因此，需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等，可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验，没有装过也可以学习试着来)。安装前设置在安装Hadoop之前，需要进入Linux环境下，连接Linux使用SSH(安全Shell)。按照下面提供的步骤设立Linux环...
2019-07-27 11:57:32
170
原创 大数据零基础入门问题答疑汇总
根据最新的Garter大数据产业网络播报，整整有15%的受访者仍然把“了解大数据是什么”视作他们的前三大挑战之一。前几天我因为社交网站得以和一个老朋友重新取得联系，星期天时他从费城赶到挪威来，就为了约我给他解答一个问题，我想这个问题对他来说一定很重要。他问：“Jane，你说你是做大数据分析的，那大数据到底是什么呢?”他是一个IT人，了解关于电脑的大部分知识，但是因为有太多人在尝试定义大数据...
2019-07-26 22:00:01
127
原创 7种最常见的大数据框架Hadoop和Spark项目
有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。项目一：数据整合称之为“企业级数据中心”或“数据湖”，这个...
2019-07-26 21:59:59
2674
原创 大数据是如何定义，多大的数据是大数据？
大数据是什么？多大的数据叫大数据?很多没有接触过大数据的人，都很难清楚地知道，究竟多大的数据量才可以称之为大数据。那么，根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。企业端(B端)数据近十万的级别，就可以称为大数据;个人端(C端)的大数据要达到千万级别。收集渠道没有特定要求，PC端、移动端或传统渠道都可以，重点要达到这样数量级的有效数据，形成数据服务即可。很有趣，大...
2019-07-26 21:59:56
3558
原创 Python 3.8 即将到来，这是你需要关注的几大新特性
ython 是一门广受好评的编程语言，每个版本的更新都会对开发社区带来一定影响。近日，Python 3.8 已进入 beta 2 版本的测试中，各项新特性已经添加完毕，最终版本预计于今年 10 月发布。在发布即将到来前，机器之心总结了 Python 3.8 中几大值得关注的新功能和改进。从事计算机领域工作的读者朋友对 Python 编程语言应该非常熟悉了。这是一门广受好评的动态编程语言，其...
2019-07-20 21:30:00
253
原创 一个简单的dos命令实现无限弹窗，卡死电脑
教大家一个简单的dos命令实现无限弹窗，从而实现卡死电脑。1.新建一个文本文件2.在该文件里面输入: startstart cmdgoto start3.保存后并把此文件的.txt后缀改为.bat提示：如果你的计算机不显示后缀拓展名，首先应先让显示拓展名再进行操作4.双击你刚新建的bat文件，效果如下过了一会就卡成这样（本演示完全...
2019-07-20 21:29:57
21547
9
原创 你在公司项目里面看过哪些操蛋的代码？
String result;......return result.toString();这种算吗？大家尽情吐槽吧Cyandev 的分享if (m_doc->isModified() == true){ for (int i = 0; i < 100; i++) { save();//Save the document for 100 times to e...
2019-07-20 21:29:54
167
原创 上司招了一个For循环都看不懂的人，我该如何自处？
跟老大一起面试，十来年工作经验了，面试的时候我觉得他技术不好，但是老大判断能做事，缺人历害，非要招进来。进来要我带，业务一遍遍讲，代码一点点说，Maven打包、连Git怎么用也要教，两周了，我才发现他连方法返回值会打断For循环都不知道（过去这十几年他怎么过的？据我所了解的语言return都会打断for循环的呀）。唉，心累，我该怎么做？就是这里他看不懂，是我的代码太糟糕，太次的原因吗？...
2019-07-20 21:29:52
237
原创 Hadoop MapReduce工作流程
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段，具体的工作流程如图 1 所示。图 1 MapReduce 的工作流程Hadoop MapReduce工作流程在 In...
2019-07-19 22:00:00
491
原创 大数据框架Hadoop MapReduce架构
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。尽管 MapReduce 1.0 中存在一些问题，但是整体架构比较清晰，更适合初学者理解 MapReduce 的核心概念。所以，本教程首先使用 MapReduce 1.0 来介绍 MapR...
2019-07-19 21:59:58
1997
原创 大数据框架基础入门Hadoop命令参考
在“$HADOOP_HOME/bin/hadoop fs” 里有更多的命令。./bin/hadoop DFS 列出所有可以使用在FsShell系统上运行的命令。此外，$HADOOP_HOME/bin/hadoop fs -help 命令名称会显示一个简短的用法。所有表的操作如下所示。以下是使用参数一般方式： "<path>" means any file or direct...
2019-07-13 21:59:55
115
原创 大数据框架基础入门Hadoop HDFS操作
启动HDFS首先，格式化配置HDFS文件系统，打开NameNode(HDFS服务器)，然后执行以下命令。 $ hadoop namenode -format格式化HDFS后，启动分布式文件系统。以下命令将启动名称节点和数据节点的集群。 $ start-dfs.shHDFS的文件列表加载服务器信息后，使用’ls’ 可以找出文件列表中的目录，文件状态。下面给出的是ls，...
2019-07-13 21:59:53
145
原创 大数据框架基础入门Hadoop HDFS
Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。HDFS的特点它适用于在分布式存储和处理。...
2019-07-13 21:59:51
135
原创 用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。有些朋友可能听说过 Hadoop，但是却不太清楚它到底是个什么东西，这篇文章就用大白话给各位阐述一下。假如你现在公司里的数据都是放在 MySQL 里的，那么就全部放在一台数据库服务器上，我们就假设这台服务器...
2019-07-11 21:59:55
629
2
原创 大数据学习路线是什么 Hadoop学习有哪些阶段
大数据学习路线是什么？Hadoop学习有哪些阶段？在大数据的学习过程中，Java基础让自己对编程有了更好的认识，Hadoop学习让自己慢慢走进大数据世界的大门，了解到大数据的用武之地。接下来简单给大家分享一下Hadoop学习路线。 在学习Hadoop时，主要分为两个阶段:第一阶段基础：Linux、第二阶段：Hadoop生态圈学习。在学习Linux时，第一步就是搭建整个机器的环境，安装ce...
2019-07-11 21:59:53
230
原创 Hadoop精华问答 | 非大数据的项目能否用Hadoop？
我们很荣幸能够见证Hadoop十几年间经历了从无到有，再到称王。感动于技术的日新月异时，希望通过本篇有问有答，带大家解决Hadoop的常见问题。1Q：Hadoop的发展史？A：2Q：Hadoop的核心组件A：分析：Hadoop的核心组件分为：HDFS（分布式文件系统）、MapRuduce（分布式运算编程框架）、YARN（运算资源调度系统）3Q：HDFS的文件...
2019-07-11 21:59:52
102
原创 不懂代码，如何做出实时刷新的数据大屏？
首先恭喜你，当你看到这篇文章的时候，不管你是小白还是大咖，你都将直接获得一个高级技能：轻松上手可实时刷新的酷炫大屏。制作可视化大屏，一般有这么几种方案：写代码调用数据和图表，比如写JS+Echarts ； 直接的数据可视化工具前者对于大部分人来说门槛较高，而且尤其是大屏需求比较多，比方说要做10个的情况下，亲身试验写代码容易奔溃。如果涉及大量的动态可视化，涉及大数据量，没有底层技术，性...
2019-07-11 21:59:51
1814
原创 一份关于大数据框架Hadoop的面试问答题
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，下面看看一般情况下，关于Hadoop的面试是会问哪些问题，以及该怎么回答。1. 简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。1) 安装JDK并配置环境变量...
2019-07-08 22:00:00
2301
原创 大数据学习必备三个框架Hadoop，Spark，Storm概念和区别
大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大(Volume)，数据类别复杂(Variety)，数据处理速度快(Velocity)和数据真实性高(Veracity)，合起来被称为4V。大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化数据(如数字、符号等数据)，还包括非结...
2019-07-08 21:59:59
2181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人