- 博客(61)
- 收藏
- 关注
RSS订阅转载 大数据入门，到底要怎么学习大数据？
很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢？其实就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个好学，哪个钱多。学习大数据想要了解更多大数据相关知识，请关注微信公众号【金牛大数据开发学习】领取免费资料及课程先说一下大数据的4V特征：数据量大，...
2019-06-18 11:19:52
425
原创 通过Spark SQL实时归档SLS数据
今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。本文主要分成三部分：流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS1. 流式计算和SQL数据的价值随着时间逐渐降低。及时尽早的对数据进行处理提升了数据的价值，所以流式计算系统的应用也越来越广泛。目前常用的流式计算框架有Storm，Spark Streaming及Flink等，也...
2019-06-17 18:29:07
757
转载 大数据人工智能发展趋势与前景
上周，南京大学开设了国内第一家人工智能学院，机器学习大牛周志华领衔院长，可谓实至名归。最近几年，以大数据和人工智能为代表的前沿信息技术，备受各界关注，相关领域的风投和创新、创业高烧不退，学术界大牛们纷纷下海，大数据深度学习研究和应用也在逐步落地，就连×××的支持政策也是一个接一个。还有Facebook扎克伯格和Tesla埃隆马斯克为代表的大佬们就AI威胁站队互掐，AlphaGo的成功营销与W...
2019-06-17 18:14:55
8166
原创 干货：PHP与大数据开发实践
大数据是使用工具与技术，来处理大量和复杂数据集合的专用术语，能够处理大量数据的技术称为MapReduce。何时使用MapReduceMapReduce特别适合涉及大数据的问题。它通过把数据处理工作分成非常小的片（或称块），方便被多个系统处理。由于MapReduce将一个问题分片并行工作，与传统软件系统相比，此解决方案速度会更快。大概有如下场景会应用到MapReduce：1 计数和统计...
2019-06-16 11:30:11
2436
原创 大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业（简称大数据）的我们，对于“大数据”这个词是再熟悉不过了，而每当我们越去了解大数据就越发现有个词也会一直被提及那就是——Hadoop那Hadoop与大数据有什么关系呢？所谓大数据，就是从各种类型的数据中，快速获得有价值信息的能力。大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。它是对那些超出正常处理范围和大小...
2019-06-16 11:30:08
665
转载 大数据Hadoop快速上手技巧，学习的方式
Hadoop是目前最火热和普遍的大数据处理工具。一提起大数据，就绕不开Hadoop。那么今天就给大家介绍一些快速学习大数据Hadoop的方式。对于小白学习大数据需要注意的点有很多，但无论如何，既然你选择了进入大数据行业，那么便只顾风雨兼程。正所谓不忘初心、方得始终，学习大数据你最需要的还是一颗持之以恒的心。学习的方式【大数据开发学习资料领取方式】：加入大数据学习交流群9...
2019-06-16 11:30:05
455
转载 概念普及-云计算 大数据 Hadoop BI
一、云计算云计算的概念最早是 2006 年由 Google 提出的。1、云计算定义云计算是一种可以通过网络方便地接入共享资源池，按需获取计算资源的服务模型。资源包括：网络、服务器、存储、应用、服务等共享资源池中的资源可以通过较少的管理代价和简单业务交互过程，而快速部署和发布。2、云计算特点按需提供服务：以服务的形式为用户提供应用程序、数据存储、基础设施等资源，根据用户需求自...
2019-06-16 11:30:03
406
转载 新职业 | 大数据工程师
2019年1月25日，人力资源和社会保障部职业技能鉴定中心官网发布《关于拟发布新职业的公示通告》，就15个拟发布新职业进行公示。其中“大数据工程技术人员”在列，该职业俗称就是“大数据工程师”。下面，我们一起来了解一下什么是“大数据工程师”。定义在《关于拟发布新职业的公示通告》中，“大数据工程技术人员”的定义为：从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和...
2019-06-15 15:17:12
281
原创 果不其然 大数据工程师薪资 最高！
知道大家比较喜欢薪资问题，所以现编专门在网上搜索到2016年程序员职业薪酬报告，毋庸置疑，大数据工程师薪资最高。下面一起解读一下这份报告：如果掉下一块砖砸到程序员，他十有八九是后端或者前端，最不可能的是测试工程师。5年工作经验的最有资格逃离北上广程序员工资一直居高不下。北京程序员平均工资是12715元，和此相差无几的是上海、深圳、南京和西安，所以程序员在逃离北上...
2019-06-14 11:35:13
447
转载 详解Kafka: 大数据开发最火的核心技术
大数据时代来临，如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章：如何全方位掌握Kafka核心技术)！据统计，有三分之一的世界财富500强企业正在使用Kafka，包括所有TOP10旅游公司，7家TOP10银行，8家TOP10保险公司，9家TOP10电信公司等等。LinkedIn、Microsoft和Netflix每天都用Kafka处理万亿级的信息。Kafka主...
2019-06-13 17:51:57
208
转载 大数据开发及和大数据相关的技术
在现如今，随着互联网技术飞速的发展，目前有不少朋友询问关于大数据方面的问题，比如什么是大数据开发啊，和大数据相关的技术是什么呢等问题，我们今天就浅谈一下大数据开发及和大数据相关的技术的问题。首先，大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。...
2019-06-13 17:47:53
412
原创 最全最新的大数据系统交流路径！!
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据入门，需要学习以下这些知识点：1、Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，...
2019-06-13 11:32:36
134
转载 算法工程师、软件工程师、大数据工程师，傻傻分不清楚
这里有最简单易懂适合HR的技术干货，咱们国家的科技水平已达到了一个前所未有的水平，区块链微服务容器人工智能大数据云计算，以后可能和程序员聊天都困难！说声抱歉，告诉你。我们回归啦！自2018年6月之后，我去到了一家新公司负责区域的管理。因为过于忙碌，实在是无法抽出身来为各位TechHR的小伙伴们撰写相关的内容。在过去的4个月里，我也备受煎熬。最终决定离开原来的公司，开始重拾过去的猎头...
2019-06-12 17:52:48
4702
转载 这次，大数据工程师赢了！
大数据时代已经到来，它俨然成为了企业的战略资源，成为了提高竞争力的关键要素。为此，各个行业都开始用数据指导决策，从微信朋友圈、淘宝京东等电商APP的商品推荐 ，今日头条、抖音快手等媒体的新闻和视频推送，甚至到出行路线优化，这背后，都严重依赖于以数据为基础的决策结果。随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。看下图，在未来技术...
2019-06-12 17:49:03
363
转载 大数据蓝皮书：解读中国大数据发展十大趋势
2018年5月28日，在以“数化万物 智在融合”为年度主题的2018中国国际大数据产业博览会举办期间，由大数据战略重点实验室研究编著的大数据最新理论成果《大数据蓝皮书：中国大数据发展报告No.2》正式发布。该书由社科文献出版社出版，通过对数字中国的建设与展望、大数据发展指数优化与评估、数据权保护与立法、大数据应用与实践等方面的探讨与分析，从理论与实践的角度探索数字中国建设路径。据悉，该书是《大数据...
2019-06-12 11:31:00
1766
转载 你们是不是很缺大数据工程师？
缘起之所以有这个话题，是因为周末加班中午吃饭与一个同行朋友聊起了这个话题，之后再细细地结合一些其他接触的东西，确实是有些感触的。并且对于行业的一些现状，也的确有些自己的看法，对不对先不论，这玩意儿也没有对错之分，每个人都有自己想法，当然也包括我博客虫了。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~01class我眼中的大数据现状!其实个人在大数据在大数据这...
2019-06-11 18:11:25
310
转载 大数据工程师是做什么的？需要具备什么能力？
如何成为大数据工程师 由于目前大数据人才匮乏，由于18年是各个大学第一年开设大数据专业，所以暂时也没有相关专业的大数据专业人才投入到社会中。对于公司来说，很难招聘到合适的人才。 阿里巴巴曾经举办了一个大数据竞赛，通过这个竞赛来激励内部员工，同时也发现外部人才，让各行业的大数据工程师涌现出来。各个领域的达人只要学会运用数据，也可以成为大数据工程师。 如果曾经没有大数据相关经...
2019-06-11 11:33:12
6285
原创 哪些人适合学习大数据呢？有难度吗？
在科技的一次次冲击之下，传统行业面临的困境也越来越多，寻求变革已经成为了一种必然。无论是电商行业的产生，还是移动营销模式的出现，都让传统行业感到压力，而如今，随着大数据出现，传统行业想要不被时代抛弃，转型已经迫在眉睫。而相对应的，大数据的出现也让众多的从业者看到来了新的发展机会。随着国家战略的支持和大数据技术的快速发展，大数据的应用场景在不断的深入，产生的影响也在不断的加大。马爸爸说...
2019-06-11 11:17:34
1052
转载 大数据学习路线，0基础小白怎么学习大数据？
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。希望能为你开始学习大数据的征程提供帮助，以及在大数据产业领域找到工作指明道路。https://upload-images.jianshu.io/upload_images/15299086-f99594d21a05af86.png?imageMogr2/aut...
2019-06-10 17:57:18
183
转载 大数据研究员：数据科学很大，在你身边很小
作为下一代革命性技术人工智能的重要依托技术，国内的大数据行业在全球走在了前列。（图片来源：全景视觉）经济观察网记者 饶贤君21世纪什么最贵？葛优在《天下无贼》里告诉我们，答案是人才，但他没想到的是，短短八年后的2012年，奥巴马向全世界宣布，数据才是新时代下最有价值的存在，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产，“数据是未来的新石油”。...
2019-06-08 17:29:44
362
转载 大数据技术扫盲，你必须会的这些点
引用“中产之路”公号大佬一句话：我85的，大你们很多，职场开窍晚，等明白过来，机会窗口期过了。程序员在22-32岁这10年属于黄金期，没走好，后面基本废了，所以老铁们，年轻的时候多思考，多跟过来人交流。请点击输入图片描述虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身...
2019-06-08 17:29:38
142
转载 分类推荐&通俗易懂 ：数据科学与大数据技术专业领域的实用工具
数据科学与大数据技术是一门偏向应用的学科领域，因此工具就成为重要的组成部分。在工作中，数据科学家如果选择有效的工具会带来事半功倍的效果。一般来说，数据科学家应该具有操作数据库、数据处理和数据可视化等相关技能，还有很多人还认为计算机技能也是不可或缺的，可以提高数据科学家工作的效率。开源社区多年来对数据科学工具包开发有着巨大贡献，这也让数据科学领域得以不断进步。这里我们收集了一些在数据库、编程语言...
2019-06-08 11:31:50
776
转载 2019怎样进行大数据的入门级学习？
大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）由于本人目前是是大数据工程师的角色，我就这个方向做一些介绍本回答目录:一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐（书籍、博客、网站）一、大数据工程师的技能要求...
2019-06-08 11:30:37
237
转载 大数据开发hadoop核心的分布式消息系统：Apache Kafka 你知道吗
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；...
2019-06-05 18:16:50
247
转载 什么是大数据开发？
♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data ana...
2019-06-05 11:30:38
28621
转载 最新！大数据工程师就业薪资，让人惊艳！
国内 IT 、通讯、行业招聘中，有 10% 都是和大数据相关，且比例还在上升。巨大的人才缺口直接导致各企业纷纷以高薪聘请大数据人才：以上数据整理自拉勾网据最新发布的《大数据人才报告》显示，目前全国的大数据人才仅 46 万，未来 3 - 5 年内，大数据人才的缺口将高达 150 万，而在 BAT 企业招聘的职位里，60% 以上都在招大数据人才。高薪的背后是人才的紧缺，有机构对一线...
2019-06-05 11:30:28
929
转载 详解Kafka: 大数据开发最火的核心技术
大数据时代来临，如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章：如何全方位掌握Kafka核心技术)！据统计，有三分之一的世界财富500强企业正在使用Kafka，包括所有TOP10旅游公司，7家TOP10银行，8家TOP10保险公司，9家TOP10电信公司等等。LinkedIn、Microsoft和Netflix每天都用Kafka处理万亿级的信息。Kafka主...
2019-06-05 11:30:08
140
转载 如何成为一名大数据工程师？
导读：大数据工程师是做什么的？怎样才能成为数据工程师？我们一起了解这个有意思的领域。未来，对熟练的大数据工程师的需求将急速增长。现实的情况是这样的，无论公司属于哪个行业，要想在当今竞争激烈的市场环境中取得成功，需要一个强大的软件架构用来存储和访问公司数据，最好从公司创立一开始就要搭建它。在如今有时候有数据的地方就叫大数据，这未免有些夸张，在本文中统称为数据工程师和...
2019-06-05 11:30:05
326
转载 一篇对大数据深度思考的文章，让你认识并读懂大数据
在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因，一是因为大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。我希望有些不一样，所以对该如何去认识大数据进行了一番思索...
2019-06-04 18:31:04
1647
转载 大数据凭什么这么火，国内外都在研究大数据
大数据作为最近几年的新兴概念，一直都是IT界的话题宠儿。一时间与大数据相关的行业，例如大数据分析、大数据挖掘、大数据在各行业的落地应用、大数据培训......大数据的快速发展，使之成为信息时代的一大新兴产业，并引起了国内外政府、学术界和产业界的高度关注。1.国外研究现状早在2009年，联合国就启动了“全球脉动计划”，拟通过大数据推动落后地区的发展，而2012年1月的世界经济论坛年会也把“大...
2019-06-04 18:22:56
4086
转载 大数据开发：0基础入门学习大数据的4个步骤
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都从没接触过大数据，对于应该如何学习大数据一头雾水。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，想学的朋友也是完全可以掌握大数据的。学习大数据想要了解更多大数据相关知识，请关注微信公众号【金牛大数据开发学习】领取免费资料及课程学习大数据的话大概分为以下几步：1.了解大数据理论要学习大数据...
2019-06-04 12:18:15
168
转载 大数据、云计算、区块链、人工智能！你选择哪个？
日前，在以“突破”为主题的t112018暨talkingdata数值智能峰会上，数千名相干行业从业者研讨以数值驱动冲破发展的新模式、新路径。目前计算机相干领域的就业情况还是比较不错的，随着大数据、物联网、区块链、人工智能等技术的快速进展，这几个目标的就业情况都是不错的，大数据和云计算要多于区块链和人工智能，所以目前计算机专业的研究生在薪资待遇和岗位选择上的空间都比较大。并且由于人工智...
2019-06-04 11:30:05
18014
转载 如何通过合理的学习规划，快速入门大数据开发
对于很多初级开发者，或者还没什么实际开发经验的人来说，大数据相关技能看起来特别吓人，因为一堆特别复杂的英文名词，以及听起来难度极高的各种“架构”。但真正去学习上手，你就会发现，这个被传得神乎其技的技术，并没有想象中的那么难，甚至还有点有意思。对于每一个想往更高层次发展的技术人来说，后台数据处理，数据架构的搭建、数据性能的优化，都是绕不过去的技能。而且，随着企业数据量的快速增加，后台数据...
2019-06-04 11:29:51
202
转载 大数据发展呈现十大趋势
2019年5月27日，在以“创新发展 数说未来”为年度主题的2019中国国际大数据产业博览会举办期间，由大数据战略重点实验室研究编著的大数据最新理论成果《大数据蓝皮书：中国大数据发展报告No.3》正式发布。该书是《大数据蓝皮书》系列的续作和深化，也是2019数博会最新的理论创新成果之一。该报告对中国大数据发展的十大趋势进行了展望。趋势之一，5G商用创造数字经济发展新风口。4G改变生活，5G改变...
2019-06-04 11:29:39
378
转载 大数据专业适合考研吗？
我们教授说，大数据这个专业注重于实战，除非想做理论专家，就不建议考研。所以，究竟是不是这样呢？"哪个专业不重视实战呢？所谓纯理论的专业，工作后也是实战啊。但是...大数据专业目前是构架在计算机、统计学、数学之上的应用学科不假，但是其本身也有很多值得提升的地方，是大学四年所不能完全cover的，即便是cover到的地方，也不够精深。大数据处理...
2019-06-04 11:29:29
17871
转载 2019新手如何进入大数据领域，入门到精通：资深程序员规划让你熟知学习路线
简介人类正在从IT时代走向DT（Data Technology）的时代。以互联网、云计算、大数据和人工智能为代表的技术革命正在渗透至各行各业，改变着我们的生活。本文主要针对从事大数据开发的程序员们整理了整套的大数据学习相关的路线图和知识材料，希望能帮助到大家大数据相关技术· MapReduce本来自于谷歌一款名为MapReduce的编程模型包，通过把一个应用程序分解为许多并行计...
2019-06-04 11:29:19
263
转载 自学大数据：大数据最新学习路线
你有了解清楚大数据课程应该包含哪些内容嘛？其中哪些又是重点必学的内容呢？大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架，都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架。Java语言是王道就是这个道理，Java的核心代码是开源的，是经过全球能人...
2019-06-04 11:03:40
188
转载 都在说大数据，但你知道大数据的核心价值是什么吗？
都说现在是大数据时代，那么大数据是什么？大数据有什么用？大数据最核心的价值是什么呢？其实大数据的核心价值很简单，就是了解用户行为（更简单说就是了解用户行为习惯）。今天我们就细说大数据的核心价值。大数据是对数据本身进行描述的数据，或者说，它不是对象本身，它只描述对象的属性。比如，一幅画本身，是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等，就是它的元数据。又如，你妈给你介绍个相亲对象...
2019-06-03 18:19:21
412
转载 2018年最好的软件开发、云计算、大数据分析和机器学习工具
InfoWorld编辑和评论家评选出今年最好的软件开发，云计算，大数据分析和机器学习工具。欢迎来到InfoWorld的年度技术奖，这是我们对信息技术领域中最好，最具创新性，最重要的产品的年度庆典。 在这个2019年版的奖项中，你可能会猜出有容器，云原生应用程序栈，分布式数据处理系统和机器学习是主要的主题。在我们的16项获奖技术中，你将找到三项领先的机器学习库，一项加速深度学习的分布式培...
2019-05-31 18:26:06
972
转载 2019年IT从业者需要关注的四个趋势
导读：如何对它们和其他联网设备采取适当的安全措施。每个这样的设备都会带来安全风险，加在一起的话，会使安全风险剧增，所以你需要迅速解决那个问题。在2019年，加密将成为所有PC操作的一个标准步骤，不管数据是在传输途中还是静止不动，也不管数据是存储在你自己的设备上，还是存储在服务提供商的设备上。现在很多人对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，...
2019-05-31 18:19:44
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人