- 博客(126)
- 收藏
- 关注
RSS订阅原创 高薪岗位大数据开发工程师要如何入门？【重磅】
最近，谷歌爸爸又收购了一家公司。长期以来，谷歌致力于推动围绕 GoogleCloud 的企业业务，但在这方面一直被亚马逊和微软吊打，这次的收购正是为了弥补自身的短板。被收购的 Cask Data 是一家专门提供基于Hadoop的大型数据分析服务解决方案的初创公司。基于此，谷歌进一步加强他的大数据分析能力。除了谷歌、微软、亚马逊、IBM等国际大佬全力布局大数...
2019-08-21 17:18:38
343
原创 什么是大数据开发工程师？与一般Java开发有什么区别？
最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？什么不是大数据开发？仅使用数据库（关系型mysql，sqlserver，oracle等 非关系型 mongo redis等），尽管数据量达到千万级别，亿级别不是大数据开发。 从业务系统的数据库...
2019-08-21 17:14:29
1361
原创 重磅推荐：六个让前端开发既高效又有趣的工具
我最近已经大约应该有快一年的时间没有再开发 Android 了，自从来到二线城市，做 Android 开发也是断断续续，一会 Android ，一会小程序开发，一会又用 Vue 做前端开发，中间也穿插着各种技术管理和团队管理的工作。在非一线城市做开发工作，给我最大的感受就是需要工程师什么都会，最好是全栈，你懂得越多越有价值，而不是你懂得越精，越深越有价值。由于最近半年一直在做 Vue 的开...
2019-08-16 17:45:02
387
原创 书单 | 速看，你不知道的大前端世界！
《大前端入门指南》▲▲▲任玉刚 等 著从目前的形势来看，大前端的概念越来越火热了，但什么是大前端，如何学习大前端，很多人都不甚了解。大前端到底是什么呢？直接来说，大前端就是所有前端的统称。《大前端入门指南》是一本大前端入门书籍，对大前端技术栈进行了全面的讲解，内容涉及HTML/CSS、JavaScript、React Native、Flu...
2019-08-16 17:43:10
2660
原创 大数据的世界，你懂吗？
本周可谓是非常忙碌的一周，这一周主要是数据分析的实践。我从前认为，公众号的运营看后台的数据就够了。其实，实践下来才知道，数据不只是数据，它是有生命的。PAGE 1什么叫数据分析数据分析的过程是什么，它能给商业带来什么价值。毕竟有用的东西，都体现在价值嘛。PAGE 2界定数据和分析问题这一点首先要学会两个W和...
2019-08-16 17:40:30
147
原创 一个前端开发者真的避不开这些问题？结果......
跨域，这是每个前端开发都会遇到的问题，确实，这是一个很头疼的问题，你说好好的调个接口你告诉我跨域了，那是谁在搞事情呢？其实你只要用其他非浏览器在去调用接口，就不会碰到跨域的问题了，其实这是浏览器同源策略在搞事情。浏览器对这个可是有理由的：“同源策略限制了从同一个源加载的文档或脚本如何与来自另一个源的资源进行交互。这是一个用于隔离潜在恶意文件的重要安全机制。”虽然说得这么官方，但其实通过这...
2019-08-12 18:09:07
148
原创 程序员编程10大哲理！值得收藏！
编程入门，作为新手程序员的你，是不是也踩过很多坑，走过很多刀山火海，现在都还在小心翼翼的匍匐前进！接下来我要跟大家分享的10大哲理，就是从多年编程经验，熬过了一次次血淋淋的教训之后得出来的，希望看到本篇文章的你，千万要警惕！1、想清楚，再动手写代码刚入行的新手，为了展示自己的能力，拿到需求迫不及待地就开始上手写代码，大忌！web前端开发2、不交流，就会头破...
2019-08-09 17:29:37
363
原创 前端框架千千万，每隔两年翻一番，太可怕了
01百花齐放的前端框架2007 年的时候我刚毕业，当时最火的前端框架是 jQuery 和 Ext JS，那时候大家纠结的问题是：我到底是用 jQuery 呢还是用 Ext JS 呢？后来又出现了：Adobe Flex、Microsoft SilverLight、Dojo、Ember、Backbone、RequireJS......一大堆框架。从 2008 年到现在，...
2019-08-09 17:25:45
190
原创 前端的人真的这么多吗？结果惊呆小伙伴
相信很多人看到这个问题时!不停的在心里阐述着自己找工作时的艰辛和困难，抱怨投出的简历犹如石沉大海，连个泡都不冒，自己连面试通知都收不到。在网上搜索了下相关问题，不少拥有相同遭遇的人都在互吐苦水，场面那叫一个泣不成声啊，把我的小伙伴们都得看呆了；那我们来看看现在的前端市场是不是真的就不缺人呢？下面是2017年8月份各大招聘网站的前端岗位的需求信息。我们可以清晰的看...
2019-08-09 17:23:24
203
原创 现代前端开发路线图：从零开始，一步步成为前端工程师
编者按：很多人都想学编程。但是苦于没有具体的步骤和指导。比如想找份前端开发的工作，却不知道应该先学习什么再学习什么，也不知道该选择什么样的工具。因为经常被人问到类似的问题，全栈开发者Kamran Ahmed索性在github上制订了一份现代前端开发的路线图，并且用一篇文章对前端开发的整个学习过程进行了详细解释。感兴趣的初学者不容错过。进入正题之前先交代一下我和这张路线图的背景。过去...
2019-08-06 17:32:44
170
原创 都说前端岗位饱和了，我还该不该入门学习前端？结果.......
1．前端岗位饱和了？ 随着互联网和移动终端的普及，雨后春笋般的互联网项目的发展，用户对于用户体验的需求不断提升，前端工程师逐渐成为介于视觉工程师和后端工程师之间必不可少的角色，备受大家的追捧和关注。 随着前端工程师岗位的发展，近期，网上不断传出前端工程师岗位饱和的言论。网上有人抱怨说，前端工程师人太多了，工资太低，工作太难找了。 前端岗位真的饱和了吗？答案当然是否定的...
2019-08-06 17:32:39
160
原创 《Web前端开发最佳实践》——第2章 高效Web前端开发2.1 前端代码的结构组织和文件的命名
本节书摘来自华章计算机《Web前端开发最佳实践》一书中的第2章，第2.1节,第2章 高效Web前端开发本章首先将概述Web前端开发中的相关最佳实践，如前端代码文件组织、前端代码重构、前端框架的选择，以及前端开发过程中实用的开发辅助工具等，帮助读者提高前端开发的效率。好的开发方式在项目中会起到事半功倍的效果，并且可确保开发过程中的代码结构清晰，易维护。本章然后会介绍前端代码的基本命名规范和格...
2019-08-06 17:32:33
220
原创 《Web前端开发最佳实践》——第1章 Web前端开发概述1.1 Web前端开发的范畴
本节书摘来自华章计算机《Web前端开发最佳实践》一书中的第1章，第1.1节,作者:党 建第1章 Web前端开发概述本章首先会简单介绍Web前端开发的历史由来，以及前端开发的概念及其范畴，让读者对前端开发有个整体的认识，同时还会对前端开发的一些错误认识进行更正。其次会介绍一下Web前端的现状，包括互联网整体环境、浏览器的发展、网站的设计和开发现状等，让读者认识到前端开发的现状和趋势，以便...
2019-08-06 17:32:29
486
原创 如何解构单体前端应用——前端应用的微服务式拆分
刷新页面？路由拆分？No，动态加载组件。本文分为以下四部分： 前端微服务化思想介绍 微前端的设计理念 实战微前端架构设计 基于 Mooa 进行前端微服务化 前端微服化对于前端微服化来说，有这么一些方案： Web Component 显然可以一个很优秀的基础架构。然而，我们并不可能去大量地复写已有的应用。 iFrame。你是说真的吗...
2019-08-05 18:30:12
183
原创 Web前端工程师 VS 前端工程师？What？
Web前端工程师，相信大家都不陌生，主要是完成客户端程序（也就是浏览器端）的开发，开发JavaScript以及Flash模块，同时结合后台开发技术模拟整体效果，进行丰富互联网的Web开发，致力于通过技术改善用户体验。现如今也叫前端工程师。Web前端工程师，更名为前端工程师是近五年的事情。起初，Web前端工程师，主要的技术包含：HTML、JavaScript、CSS。但IT技术...
2019-08-05 17:56:32
254
原创 前端工程师眼里的大前端
作为前端工程师，如果还停留在会jQuery、Vue、React、Angular，那就有点 out 了，现在都流行跨界，比如《我是歌手》、《跨界喜剧王》。在前端圈里也流行跨界，只是叫法不同：大前端。没错，就是大前端，自行查看知乎是的大前端热门话题。如果懒的看那么长的评论和话题，我就帮大家简单总结总结“大前端”的含义。 会前端技术，如 Javascript、css、H5、微信小程序、Vue等...
2019-08-05 17:54:47
174
原创 重磅干货！史上最全的前端学习路线图
前端很火，想自学前端的人也多。作为过来人，知道自学的辛苦。所以小编精心制作这份学习路线图，就是让想自学前端的小伙伴们有一份系统专业的学习资源和学习指导。此学习路线图，历经两个月的时间，无论你是刚入门的小白，还是已经工作的前端开发者，都是必备的学习宝典！一、前端学习路线图—流程篇前端学习路线图二、前端学习路线图—视频教程篇：前端视频篇第一阶段-准备篇本阶段...
2019-08-05 17:44:02
286
原创 某10+经验大数据老师略讲大数据启蒙
有很多人想学大数据，但不知道从何下手。掌握这几点入门大数据。分治思想分治思想是学习大数据的必备思想。思考下面几个问题，体会一下什么是分治思想。1、如何存储一万个元素（数字或单词）？可以用array、hash、table2、如何查找某一个元素？最简单的遍历方式复杂度是多少？如果元素是数组存的，复杂度是logN太高了。3、如果我期望复杂度是O(4)呢？最多遍历4次。这怎...
2019-08-03 11:47:16
240
原创 大数据行业应用精英为啥都在谈论hadoop框架
最近知乎上有这样一个问题“为什么很多公司都采用Hadoop方案处理大数据业务”，引来很多回答，笔者整理如下，其观点或有时而可商，欢迎讨论。先说一说什么样的公司比较倾向于使用Hadoop。有人认为，使用Hadoop的前提是自身有没有收集并分析数据的需要，并且数据量是否一直在增长并且不可丢弃。目前看起来，此类数据多数为日志数据，分析用户习惯，或者就是传感器之类的数据，分析环境等监控内容的变化规...
2019-07-31 18:30:45
103
原创 大数据技术热门十个应用
随着互联网+和人工智能的发展，大数据市场发展越来越火热，大数据分析人才越来越紧缺，如今大数据分析市场已经快速的渗透到各行业务，那么哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术：预测分析：随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险;No...
2019-07-31 18:07:34
464
原创 Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域
由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求，使国家的技术产业得到进步和发展。大数据已经成长为时代发展的标志，在各大行业机领域都拥有其应用，今天小编就带着大家一起了解一下，大数据技术到底带来了什么？大数据技术是如何发...
2019-07-31 17:50:30
286
原创 千亿级的数据难题，优酷工程师怎么解决
优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。今天，阿里数据技术专家门给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。本文内容根据演讲视频以及PPT整理而成，希望对你有所助益。...
2019-07-31 11:34:27
119
转载 如何利用大数据更好地促进SEO优化服务
托管服务提供商可以利用大数据为企业提供更好的服务和更多的SEO优势。大数据如今已经成为很多企业数字营销战略中的重要组成部分。机器学习、数据分析和Hadoop技术正在改变搜索引擎优化(SEO)：机器学习在搜索引擎算法中得到越来越广泛的应用。使用机器学习的SEO可以部分逆向工程这些算法。 大数据帮助SEO公司发现新的链接机会和其他场所，以提高他们的搜索引擎结果页面(SERP)排名。 大数据...
2019-07-30 18:21:40
456
转载 Java和大数据的关系
当你迈入大数据的领域，首先必要接受的是大数据开发的洗礼，编程语言作为大数据的基础方向是你入门的突破口，一定要仔细学习。在这里很多同学都会有一个疑问：编程语言那么多，我需要学习哪一门编程语言呢？看到很多人都选择学习Java，Java和大数据的关系是怎样的？诚然，很多Java程序员都纷纷转型大数据，不是因为Java行业饱和，而是想更大程度上突破自己的技术，来获得更多高的成就，当然了还有基本的工资待...
2019-07-30 18:19:47
107
转载 学习大数据和Java哪个好?
面临快速发展的互联网行业，以及IT行业的高薪就业，让越来越多的人想要进入此行业，那么对于学习大数据还是学习Java更好，我们往往会处于纠结徘徊无法更好的衡量之中，因此就有了“大数据和Java哪个好?”这一问题的出现，为了帮助你更好的选择，今天一起来看看。首先，学习什么样的技术，一定要知道自己的兴趣是什么，因为如果一个专业技术自己都不喜欢，更不用说学好它了，也就是说如果不适合自己的岗位，就算是薪...
2019-07-30 18:18:00
1101
转载 零基础如何学好大数据？需要学习哪些知识？
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术：1. Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有...
2019-07-30 18:11:37
128
转载 大数据：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。一、Hadoop与Spark1.SparkSpark是一个用来实现快速而通用的集群计算的平台。速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互...
2019-07-30 18:10:06
276
原创 学大数据是先学java还是先学python?
大数据的发展趋势日渐明显，但是进入这个领域的门槛不小，除了要有心理准备，其次就是要付诸实际行动中去学习。学习方法有很多，在没有基础的前提下，自学是因人而异是有难度。其次是大数据目前的工作方向主要是三个：大数据应用，数据分析，大数据研发，当然还有一些机器学生有关的数据挖掘什么的，也在这个类别，我暂时归到研发方向，因为要应用的话，还得结合一些行业和业务进行，所以你要从事大数据，可能要先定一下方向哈...
2019-07-30 18:07:35
126
转载 学习大数据，你的职业是如何规划的？
作为IT类职业中的“大熊猫”，大数据人才（数据工程师，数据分析师，数据挖掘师，算法工程师等）、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。学习大数据，你的职业是如何规划的？1 大数据人才做什么？2 需要具备的能力2.1 精通SQL2.2 数据模型技能2.3 ETL设计2.4 架构项目3 知识体系机器学习基础机器学习工...
2019-07-30 18:05:09
278
原创 大数据开发是什么工作，怎么入门学习大数据？
大数据开发是大数据职业发展的方向之一，另一方面是大数据分析。从工作内容，大数据开发主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作，主要负责处理和大数据应用，结合大数据可视化分析工程师，挖掘出价值的数据，为企业提供业务发展支持。大数据数据开发工程师偏重建设和优化系统。大数据开发其实分两种：第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。...
2019-07-30 18:02:38
1179
转载 什么是大数据 究竟多大才算是大数据，大数据怎么学习？
大数据，什么是大数据呢？多大的数据叫大数据？红火一时的数据分析走向了我们，纷纷称不分析数据企业将长久不了，可是究竟什么样的数据才是大数据呢，什么样的数据才是最大的呢？如果你没有接触过大数据，那么你就不知道大数据究竟有多大，大到什么样的数据才能称之为大数据。那么，根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。大数据开发学习有一定难度，零基础入门首先要学习Java语言打...
2019-07-30 18:01:10
757
原创 2019年大数据的10大发展趋势
如今，人们寻求获得更多的数据有着充分的理由，因为数据分析推动了数字创新。然而，将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。而那些获得应对强大数据挑战的解决方案的组织将能够更好地从数字创新的成果中获得经济利益。考虑到这个基本前提，以下是组织在2019年应该关注的大数据的10个发展趋势：1.数据管理仍然很难 大数据分析有着相当明确的重要思想：找到隐藏在大量数据中的信息模式...
2019-07-30 17:57:02
187
转载 大数据时代已来，开发者该如何出击？
现在市面上的大数据产品太多了，但它们还远远没达到像 IaaS 层那样的标准化程度，每个产品之间的差别也并不是特别明确清晰。很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。一般的做法是做调研、学习、搭环境、测试、做各种产品的集成，但通常这个过程会很漫长，成本也很高。我们希望这些事情都交给云平台来做，云上所有的产品都可以一键部署、一键伸缩，不论是加节点还是减节点...
2019-07-30 17:55:58
108
转载 人工智能揭示怎么让人越学越想学，作品怎么让读者越读越想读
美国亚利桑那大学和布朗大学的研究者，通过对人工智能学习速度的研究，发表了论文《最优学习的85%规则》（《The Eighty Five Percent Rule for Optimal Learning》）。研究人员发现，两次连续的训练，如果训练的数据差别很大，机器判断的准确度提高会比较慢，也就是学习的速度会比较慢；同时，如果初始训练的数据差别很小，机器学习的速度也比较慢。也就是说，两...
2019-07-29 17:43:37
252
转载 Hadoop VS. Spark——如何选择合适的大数据框架
哪个大数据框架更适合你？来自四面八方的数据席卷而来，将我们裹挟进去。。随着数据每两年翻一番，数字宇宙正以飞快的速度追赶物理宇宙。据估计，到2020年，数字宇宙将达到44泽塔字节——其数字位的数量相当于宇宙中恒星的数量。数据还在不断增加，我们压根无法摆脱。为了消化这些所有的数据，市场上的分布式系统越来越多。在这些系统中，Hadoop和Spark经常作为直接竞争对手相互竞争。在决定这两...
2019-07-29 17:40:45
231
转载 三本毕业运气好入职互联网大数据开发年薪25.2万，怎么做到的呢？
2018年从末流学校毕业，心情很是忐忑不安，学的是信息管理与信息系统专业，这个专业就是计算机和管理学的结合，万金油专业，但是对学习好，或者学校好的同学（985、211），这是一个优势，但是像我这样，没有认真学习，只喜欢玩的人来说是一个种打击，来深圳后各种面试投简历，各种理由不要你（在学校招聘的时候也是理由一大堆，中国500强压根不会来你这种学校），虽然说打击很大，但是深圳这座充满活力和科技的城市对...
2019-07-29 17:39:06
654
1
原创 Hadoop基础知识面试题整理
一、 问答题1、简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。1) 安装JDK并配置环境变量（/etc/profile）2) 关闭防火墙3) 配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4) 设置ssh免密码登录5) 解压缩hadoop安装包，并配置环境变量6) 修改配置文件（$HAD...
2019-07-28 18:44:45
252
原创 大数据独角兽Cloudera股价腰斩，Hadoop将何去何从
美东时间 6 月 6 日美股开盘后，大数据公司 Cloudera 股价暴跌 43％，在此之前该公司刚刚宣布首席执行官 Tom Reilly 将离职，并下调了 2020 年收入预期。在与竞争对手 Hortonworks 合并五个月后，尽管 Cloudera 不断尝试实现持续增长，但现金仍在流失，这引发了人们对其数据分析技术未来发展前景的担忧。在 2014 年由英特尔主导的融资轮中，Clo...
2019-07-27 21:23:25
161
转载 大数据开发实战：美团是如何应用Spark处理大数据的？
前言美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展，单纯的Hive SQL查询或者MapReduce程序已经越来越难以满足数据处理和分析的需求。一方面，MapReduce计算模型对多轮迭代的DAG作业支持不给力，每轮迭代都需要将数据落盘，极大地影响了作业执行效率，另外只提供Map和Red...
2019-07-27 15:53:06
301
原创 非Flink不可？构建实时数据集成平台，这4个因素怎能不注意！
随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性和数据传输延迟等问题。在一...
2019-07-27 15:53:02
212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人