【大数据技术】Apache Spark 内存管理详解

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spa...

2019-05-14 22:00:14

阅读数 51

评论数 0

看看华为、阿里大数据架构师的必备技能!

嘘,我们只偷偷地告诉你一个人! 这个秘密职业就是 数据架构师 在国内大数据行业大概有以下几种岗位:数据架构师、数据分析师、数据挖掘工程师、数据算法工程师和数据产品经理。 接下来我们介绍第二种岗位 让我们来详细地告诉你这个身份吧 数据架构师负责平台的整体数据架构设计,完成从业务模型到数据...

2019-05-14 22:00:06

阅读数 51

评论数 0

机器学习里面数学知识,到底对数学水平要求多高?

过去几个月里,有不少人联系我,向我表达他们对数据科学、对利用机器学习技术探索统计规律性,开发数据驱动的产品的热情。但是,我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和框架。这是我写这篇文章的主要原因。 最近,许多好用的机器和深度学习软件变得十分易得,例如 scikit-learn...

2019-05-14 21:59:56

阅读数 57

评论数 0

学习大数据,你的职业是如何规划的?

作为IT类职业中的“大熊猫”,大数据人才(数据工程师,数据分析师,数据挖掘师,算法工程师等)、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段,这个领域出现很大的人才缺口。 1 大数据人才做什么? 2 需要具备的能力 2.1 精通SQL 2.2 数据模型技能 2.3 ETL设...

2019-05-14 21:59:53

阅读数 56

评论数 0

【Bigger】如何区分三个大数据热门职业

随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。 这3个职业是如何定位的? 数据科学家是个什么样的存在 数据科学家是指能采...

2019-05-14 21:59:48

阅读数 53

评论数 0

大数据是何方圣神?为什么近年来这么火?

众说纷纭大数据 几年前,有幸参与大数据的研究及如何落地实操的课题,短短几年,此话题已然风生水起。何为大数据?为什么要发展大数据?大数据如何产业化?产业如何大数据化?大数据的未来会怎样?未来的大数据会怎样?…… 这些都是最初我们的课题内容,时至今日,部分似已清晰,部分还很模糊。 关于大...

2019-05-14 21:59:44

阅读数 51

评论数 0

一步一步教你如何用Python做词云

前言 在大数据时代,你竟然会在网上看到的词云,例如这样的。 看到之后你是什么感觉?想不想自己做一个? 如果你的答案是正确的,那就不要拖延了,现在我们就开始,做一个词云分析图,Python是一个当下很流行的编程语言,你不仅可以用它做数据分析和可视化,还能用来做网站、爬取数据、做数学题、写脚...

2019-05-12 22:01:25

阅读数 686

评论数 0

从入门到放弃之大数据Hive

开门见山,今天说说Hive!!! 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序 1)Hive处理...

2019-05-12 22:01:17

阅读数 303

评论数 0

从入门到放弃之大数据Hive

开门见山,今天说说Hive!!! 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序 1)Hive处理...

2019-05-12 22:01:15

阅读数 468

评论数 0

大数据与Hadoop有什么关系?

学习着数据科学与大数据技术专业(简称大数据)的我们,对于“大数据”这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是——Hadoop 那Hadoop与大数据有什么关系呢? 所谓大数据,就是从各种类型的数据中,快速获得有价值信息的能力。大数据是需要新处理模式...

2019-05-10 22:10:30

阅读数 29

评论数 0

大学计算机老师为什么不去大公司做程序员?

网友一: 可能现在不少人都有这个疑问,大公司的程序员收入很高,为什么一些大学专业老师不去大公司做程序员呢?程序员工资多高啊! 作为一名研发人员,同时也是一名研究生导师,我觉得大概有以下几个原因: 1,到大公司做程序员是一件简单的事,但是去大学当老师却并不简单,大学老师的入门门槛要远高于公司程...

2019-05-10 22:10:23

阅读数 26

评论数 0

大数据Hadoop入门简介

hadoop是什么 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要...

2019-05-10 22:10:21

阅读数 24

评论数 0

大数据程序员平均薪资25k?

有机构对一线城市2018年国内科技领域热门职位薪酬范围及跳槽涨幅进行了预测:大数据方向由于人才稀缺度较高,相同工作年限的情况下,大数据工程师的薪资普遍更高,待遇涨幅也会超过其他岗位。 最近,谷歌爸爸又收购了一家公司。长期以来,谷歌致力于推动围绕 GoogleCloud 的企业业务,但在这方面...

2019-05-05 17:37:00

阅读数 41

评论数 0

大数据工程师需要掌握哪些知识?

IT行业中Java语言是基础需要打牢,除此之外还要掌握其他的技能,大数据之所以被称为大数据,是因为这些海量数据的数量级已经达到TB、PB、EB级。传统的数据处理手段早已满足不了需求。 大数据处理技术涉及面非常广,不再是以往“一招鲜吃遍天”的局面了。主要有分布式计算、高并发处理、高可用处理、集...

2019-05-05 17:36:57

阅读数 44

评论数 0

数据库开发工程师转行大数据开发可以吗?

对有工作经验想转行大数据开发主要考察三个方面,一是基础,二是学习能力,三是解决问题的能力。 基础很好考察,给几道笔试题做完基本上就知道什么水平了。数据库开发工程师转大数据开发怎么样? 首先给大家普及一下大数据相关知识大数据的4大特征: 1.数据在体量方面很大,比如说文字,有各种各样的来源,...

2019-05-05 17:36:52

阅读数 48

评论数 0

大数据入门,你需要懂这四个常识

一、大数据分析的五个基本方面   1、可视化分析   大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。   2、数据挖掘算法   大...

2019-05-05 17:36:45

阅读数 50

评论数 0

大数据java入门之Linux命令

必须学会的命令 1.man和page 1.内部命令:echo 查看内部命令帮助:help echo 或者 man echo 2.外部命令:ls 查看外部命令帮助:ls --help 或者 man ls 或者 info ls 3.man文档的类型(1~9) man 7 man man 5 ...

2019-05-03 19:15:20

阅读数 47

评论数 0

Blink开源,Spark3.0,谁才能称霸大数据领域?

2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区,来自Databric...

2019-05-03 19:11:55

阅读数 41

评论数 0

Hive使用必知必会系列

一、Hive的几种数据模型 内部表 (Table 将数据保存到Hive 自己的数据仓库目录中:/usr/hive/warehouse) 外部表 (External Table 相对于内部表,数据不在自己的数据仓库中,只保存数据的元信息) 分区表 (Partition ...

2019-05-03 19:09:27

阅读数 71

评论数 0

大数据入门(Hadoop生态系统)

Hadoop生态系统为大数据领域提供了开源的分布式存储和分布式计算的平台,这一章我们进行Hadoop生态系统的入门学习,介绍其中分布式文件系统HDFS、分布式资源调度YARN、分布式计算框架MapReduce(包含Spark的入门以及和MapReduce的比较),最后通过Spring Boot集成...

2019-05-03 19:01:33

阅读数 73

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭