大数据
文章平均质量分 79
IT自学妹
闲来无事,分享一些网盘里积累的IT资源和文章,谢谢查阅~
展开
-
大数据技术基础精讲
算法推荐、智能安全、机器学习、预测分析……这些曾出现在科幻小说中的概念正依托于大数据浸入我们的生活、消费和工作。尤其是技术开发者,你的工作正在与大数据产生着愈加紧密的关联,并且未来会愈加密切,无论你是否从事大数据相关工作,都要掌握大数据原理和架构。另一方面,大数据行业人才缺口巨大,近五年薪资上涨 70%,对于想要入行大数据,借红利赢得更好发展的工程师来说,现在入行,正是恰当的时机。原创 2023-02-07 17:46:39 · 329 阅读 · 0 评论 -
2022最新大数据学习路线,超详细
昨天有同学问我,有没有最新的大数据学习路线呢,他做Java有几年了,想晋升大数据开发方向,有基础有资料,不过没有系统的学习路线,大大拖慢了他学习的进度。今天就给大家分享一下2022最新的大数据学习路线(仅供参考)。零基础的学员也适合哦!原创 2022-09-21 17:03:18 · 3853 阅读 · 1 评论 -
为什么我们要使用Hadoop?
在大数据时代,为什么Java程序员学习大数据需要使用Hadoop呢?原创 2022-09-15 14:45:37 · 692 阅读 · 0 评论 -
一篇文章带你了解——大数据和数据分析有什么区别和联系
我发现很多小伙伴对大数据和数据分析的区别以及联系并不是很了解,对于初学者来说,这确实是非常容易混淆的概念,今天我就来聊一下大数据和数据分有什么区别和联系,就业怎么样。原创 2022-09-01 11:31:19 · 1998 阅读 · 2 评论 -
热门高薪岗位大数据开发 自学转行如何就业(自学教程 学习路线 方法建议)
热门高薪岗位大数据开发 自学转行如何就业(自学教程 学习路线 方法建议)原创 2022-08-22 14:30:47 · 410 阅读 · 0 评论 -
应用领域宽泛 大数据浪潮席卷全球广泛应用于各行各业
大数据行业价值堪比黄金 大数据是目前行业内最被看好和需求最大的方向,各行各业对数据依赖性越来越高,就导致我们对数据的要求越来愈大。高端人才一将难求 未来趋势离不开大数据的支持大数据广泛应用于各个方向那为什么想学习大数据的人这么多呢1.政策支持:国家大力推动并实施大数据发展战略,行业政策环境良好。2.人才稀缺:未来3至5年,中国需要150万左右的大数据相关人才,目前大数据从业人数不足50万,市场需求远远得不到满足。3.行业需求:大数据对接金融、电商、医疗、新零售、物联网、工业、..原创 2020-06-20 16:25:15 · 797 阅读 · 0 评论 -
java程序员找工作&跳槽必备面试宝典
面试题汇总第一部分:java基础、语法1.Java跨平台原理(字节码文件、虚拟机)C/C++语言都直接编译成针对特定平台机器码。如果要跨平台,需要使用相应的编译器重新编译。Java源程序(.java)要先编译成与平台无关的字节码文件(.class),然后字节码文件再解释成机器码运行。解释是通过Java虚拟机来执行的。字节码文件不面向任何具体平台,只面向虚拟机。Java虚...原创 2020-03-19 18:43:24 · 717 阅读 · 0 评论 -
java程序员2020年必备技能【附:学习线路】
对于程序员而言,了解编程语言的发展趋势,有助于个人职业成长;而对于想要入行IT的新人而言,最大的疑惑大多来自于不知道该选择哪门编程语言发展前景更好!java作为目前企业开发额首选语言,已经在国内流行了很多年,但是到目前为止仍然不见java语言的倒退,这是什么原因呢?首选和java语言的特性有很多的关系 1.封装: 封装是把过程和数据包围起来,对数据的访问只能通过已定义的接口。...原创 2020-03-13 10:50:07 · 637 阅读 · 0 评论 -
速来围观,大数据10月份最新学习路线
大家可以在评论留言自己所需要的学习资料,小编看到会对大家的留言进行一一的回复大数据时代,掌握核心竞争力,月薪翻番,实现职场晋升!如今企业对于大数据高端人才的需求度越来越紧迫,在大数据团队主要分三种角色:大数据开发工程师、大数据运维工程师、大数据架构师。根据职友集的统计,他们的平均月薪在北上广深四大一线城市稳定在15000-25000之间。随着工作经验的累积,工资更是大幅增长。为...原创 2018-10-30 10:15:40 · 358 阅读 · 0 评论 -
Hadoop YARN的3新特性
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性,包括:1.ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后,增加了ResourceManger HA特性,支持基于Zookeeper的热主备切换,具体配置参数可以参考Cloudera的文档:ResourceManager HA配置。需要注意的是,ResourceMa...转载 2018-09-02 10:08:35 · 895 阅读 · 0 评论 -
大数据Hadoop2.x与Hadoop3.x相比较有哪些变化
在这篇文章中,我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 我们希望Hadoop 2和Hadoop 3之间的这个功能的区别将帮助回答上述问题。 Hadoop 2.x与Hadoop 3.x之间的功能比较本节将讲述Hadoop 2.x与H...转载 2018-08-29 16:00:22 · 19459 阅读 · 0 评论 -
java程序员,当你在迷茫的时候可以从这两方面提升自己
我们在标题里所说的java程序员一定是有java基础或者有开发经验的,像这类程序员一般从事的是java开发工作,每天面对的是成千上万的代码和永远改不完的需求和bug。相对于来说工作是比较枯燥、乏味的。这类程序员在工作一两年后会选择继续的提升自己,学习更加符合公司需求、社会发展的技术来充实自己,以达到职位或者薪资上的提升。那么他们应该学习哪些技术呢?其实提升的方向有很多,但是就目前的需求...原创 2018-08-19 10:14:52 · 327 阅读 · 0 评论 -
java程序员不同阶段提升技能应该看哪些书籍
一、java入门类 对于零基础的小白,想要成为程序员,从事开发相关的工作,java都是一个不错的选择。在这个阶段,你需要快速的掌握java的基本语法和用法,切记不可浑沦吞枣,一定要对java有深刻的认识,在看java语法和代码用法的时候要“知其然”。 《java编程思想》 当你对java有了初步的认识之后,要做的就是“为什么”,当你敲过一段代码之后要问自己,...原创 2018-08-26 09:33:23 · 2702 阅读 · 0 评论 -
大数据入门之zookeeper的功能及工作原理,完结版
本文接“上文”继续讲解zookeeper相关的技术点,所以序号接上文。想了解大数据其他知识点可以点击文章末尾“了解更多”查看11.分布式与数据复制Zookeeper作为一个集群提供一致的数据服务,自然,它要在所有机器间做数据复制。数据复制的好处:(1)、容错:一个节点出错,不致于让整个系统停止工作,别的节点可以接管它的工作;(2)、提高系统的扩展能力:把负载分布到多个...原创 2018-08-16 13:10:22 · 805 阅读 · 0 评论 -
大数据入门之zookeeper的功能及工作原理,未完待续……
如果大家对大数据开发感兴趣,可以点击文章“了解更多”,了解和报名大数据免费学习交流课程!!!1.Zookeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。2.Zo...原创 2018-08-15 10:13:58 · 272 阅读 · 0 评论 -
大数据开发中关于机器学习,需要掌握哪些知识点呢?
在我们平时的大数据开发工作中,机器学习也是经常用到的技能。相对于其他知识点,这部分的内容相对占的比重也是很高的。那么想要从事大数据开发应该掌握哪些机器学习的技术呢?大数据开发及架构师相关课程免费推广报名中,点击“了解更多”报名学习机器学习相关的知识点如下:1、机器学习介绍什么是机器学习、机器学习与人类思考的对比、简单的线性回归2、线性回归详解简单的线性回归 多元现行回归...原创 2018-08-12 13:40:55 · 805 阅读 · 0 评论 -
一篇文章让你了解Hive和HBase的区别
相信做大数据开发的朋友对hive和HBase一定不会陌生。HBASE想了解更多大数据相关知识可以点击“了解更多”Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者...原创 2018-08-07 09:41:38 · 116576 阅读 · 4 评论 -
大数据学习思路分解之Linux及Hadoop学习
我们在上篇文章中大概的了解了大数据学习的一些思路(路线),主要包括以下几点(Linux+hadoop+机器学习+流式计算+内存计算+云平台开发),当然还有很多知识点,我们就以这个课程大纲来进行讲解学习。而在大数据开发中hadoop是最先学习的重点。为了让大家更加准确和快速的入门学习大数据,我们这篇文章就和大家介绍一下大数据Hadoop主要需要学习哪些方面的知识。注:此学习路线非零基础学习线路,要求...原创 2018-07-02 13:49:56 · 228 阅读 · 0 评论 -
java程序员提升必备大数据、架构师学习资料免费分享
大数据和架构师是很多java程序员工作2/3年后提升的首选方向,也是为数不多的学习方向。而且大数据正在被越来越多的国家和企业定位发展战略,尤其是我国在贵州设立了大数据产业园区,更是证明了大数据产业在未来光明的前景。想比大数据架构师让更多的让程序员认可是因为他的技术要求更高,薪资待遇更好,这也是为什么会有很大一部分程序员会选择架构师为自己的奋斗方向。作为大数据和架构师的学习者,有好的学习...原创 2018-07-17 13:34:21 · 633 阅读 · 2 评论 -
适合java程序员学习的大数据核心技术-spark介绍
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。需要大数据相关学习资料大家可以给小编留言获取哦,并且还有相关课程供大家...原创 2018-07-11 14:12:29 · 490 阅读 · 0 评论 -
大数据学习资料、视频、PDF源码工具
大数据是目前互联网行业内最火的一部分,而且是很多开发工程师追求的一个大的方向。那么相对于我们想从事大数据开发工作而又没有学习方向的人来说应该怎么办呢?别急,小编为大家准备了大数据相关的学习资料,包括视频资料、PDF、源码工具包等等。需要的小伙伴可以直接加我qq免费领取,qq号:2189877100。...原创 2018-07-05 10:36:20 · 774 阅读 · 0 评论 -
学习大数据开发应该了解的几个技能
1、Linux大数据集群主要建立在linux操作系统上,Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的,只有学好Linux才能在工作中更加的得心应手。2、Hadoop我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架,运算时利用mapreduce对数据进行处理。在大数据中的用...原创 2018-07-24 10:15:22 · 1437 阅读 · 2 评论 -
Saprk作为大数据开发中不可获取的部分它还具有哪些功能呢
Spark是一个用于实时处理的开源集群计算框架。 它拥有蓬勃发展的开源社区,是目前最活跃的Apache项目。 Spark提供了完整编程的接口,具有数据并行性和容错性。运行图那么作为大数据开发中不可或缺的部分,它还具有哪些功能呢?1、支持多种语言Spark提供Java,Scala,Python和R中的高级API .Spark代码可以用任何这些语言编写。 它在Scala和Pytho...原创 2018-07-25 14:33:35 · 225 阅读 · 0 评论 -
优秀程序员应该具备的职场软技能
一名优秀的程序员在公司内,不仅需要优秀的敲代码的技能,还需要注重培养自己的软件能。敲代码作为职场的必备技能,是公司领导衡量一个员工的基本要求。那么什么是软技能呢?所谓的软技能就是一个人的职业素养、人际沟通能力、团队协作能力、思维及经验等等。如果说硬技能是衡量一个人能否在公司工作的标准,那么软技能就决定着你在公司中能走多块、走多远。下面我们就来看一下,一个优秀的程序员应该具备哪些软技能:...原创 2018-07-20 09:58:33 · 781 阅读 · 0 评论 -
hadoop3.0新特性
1、概要1. 基于jdk1.8(最低版本要求) 2. mr采用基于内存的计算,提升性能(快spark 10倍) 3. hdfs 通过最近black块计算,加快数据获取速度(块大小:256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC: Erasure Coding) 存储空间节省50% 6. 精简了内核 7.hadoop sh...原创 2018-07-29 10:29:35 · 1764 阅读 · 0 评论 -
java程序员进阶大数据必学之Hadoop 3 新特性和完全分布式搭建
作为世界时装设计和消费的“晴雨表,每年米兰时装周都会吸引世界各地的媒体和商家,一起研究时下潮流。最主要的是探讨未来趋势,争取抓住时代的脉搏,为自己的品牌注入新鲜的能量满足客户的审美需求。身为攻城狮的我们也需要打造自己的品牌。在这个技术爆炸的年代,技术就是我们赖以生存的根本。我们不仅要温故,更要知新。Hadoop从2006年诞生以来,一直是这个时代的宠儿,为众多一线企业提供了大数据存储和...原创 2018-07-22 10:03:24 · 276 阅读 · 0 评论 -
用一个小故事告诉你什么叫做大数据
什么叫大数据某必胜客店的电话铃响了,客服人员拿起电话了解顾客需求。客服:您好,必胜客欢乐餐厅,请问您有什么需要?顾客:你好,我想要一份……客服:先生,烦请先把您的会员卡号告诉我。顾客:16894387***客服:陈先生,您好!您是住在广州南路一号10楼1005室,您家电话是2778***,您公司电话是4887***,您手机号是158****。请问您想用哪一个电话付费?...原创 2018-07-30 13:41:05 · 5220 阅读 · 1 评论 -
一篇文章帮你建立自己的大数据知识体系!
现在大数据非常火爆,相信你一定看过不少关于大数据的书、文章、资讯,但基本上获取的都是零碎的知识点,不成系统,没有形成自己的知识体系,“看过很多知识点但依然搞不懂大数据”,然并卵。那么,今天这篇文章呢,就带大家从整体思路上,剖析大数据的产品设计架构和技术策略,帮助大家建立自己的大数据知识体系!大数据架构师免费课程链接,获取相关资料可以加我微信免费领取:mipi946大数据产品,从系统性和体系...原创 2018-07-30 14:37:14 · 560 阅读 · 0 评论 -
作为大数据开发中最重要技术,spark需要掌握哪些技能呢
图一Spark一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点,但不同的是Job的中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。欢迎小伙伴们评论、转发和收藏,了解更多大数据知识可以点击“了...原创 2018-08-09 10:33:21 · 929 阅读 · 1 评论 -
【干货】国内大数据开发中比较受欢迎的几款工具
【大数据架构师免费报名课程】获取相关资料可以加我微信免费领取:mipi9461、zookeeper一个分布式的应用程序协调服务,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具,让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目,为分布式系统提供了高效可靠且易于使用的协同服务。2、HDFSHadoop...原创 2018-07-31 14:03:35 · 1224 阅读 · 0 评论 -
关于大数据的你不能不知道的14个概念
感谢大家的阅读与评论【大数据架构师免费报名课程】获取相关资料可以加我微信免费领取:mipi946随着大数据技术的不断提高,大数据应用的不断普及,大数据与各行各业的关系越来越紧密。大数据行业充斥着大量的专业词汇,准确掌握和了解这些词汇的含义,有助于更好的理解大数据,更好地利用大数据技术。以下整理了以数据处理为中心的14个大数据专业词汇, 一起来看看吧~~~本地数据库(LDB/Loca...原创 2018-08-01 11:14:00 · 302 阅读 · 0 评论 -
大数据开发中Spark架构运行详解及其优势详解?
一、Spark基本概念spark是一种分布式的计算框架。类似于大数据开发中Hadoop生态圈的MapReduce,计算思想和MR非常相似,两者都是分而治之的思想,但使用率要比MR高很多。在学习Spark运行架构之前,我们有必须要先了解Spark中几个基本概念。1、Application(应用程序):是指我们编写的Spark应用程序,包含驱动程序(Driver)和分布在及群众多个节点上运...原创 2018-08-14 09:32:56 · 788 阅读 · 0 评论 -
关于大数据hadoop的45个科普小知识
时至今日,Hadoop已成为最流行的离线数据处理平台,然而它的集群配置起来并不简单。如果你学习Hadoop不久,相信下面这45个问题会对你有所帮助。大数据和架构师相关课程可以点击“免费了解”在工作生活中,有些问题非常简单,但往往搜索半天也找不到所需的答案,在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题,以下为译文:1.Hadoop集...原创 2018-08-06 14:22:03 · 348 阅读 · 0 评论 -
优效学院 基于微服务的秒杀项目实战 Spring Boot 2.0基础篇01
1. 介绍主要解决的是在微服务的架构下简化配置(有快速配置)、前后端分离、快速开发优点:提供了快速启动入门开箱即用、提供默认配置内嵌容器化web项目没有冗余代码生成和xml配置要求2.运行Demo访问http://start.spring.io/生成下载demo.zipMaven本地源配置<mirrors><mirror><id>nexus-aliyun<...原创 2018-07-08 16:47:22 · 382 阅读 · 0 评论