- 博客(32)
- 收藏
- 关注
RSS订阅
原创 IT技术人员转行大数据应该考虑哪些问题
大数据人才需求迫切，高薪资、高福利，因此转行的大数据的人也很多，那么对于一些普通技术开发人员，在进行转行大数据开发时有哪些必要的考虑因素呢？关于从事一个行业的要求，最简单的方式莫过于从求职网站上查看信息，下面就是针对于大数据行业的一些职业要求，而这也是转行大数据人必须要考虑的。分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，...
2018-05-29 18:12:27
1309
原创 大数据行业发展的九大痛点（个人观点）
前言尽管在Hadoop与NoSQL部署方面做足了准备，同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。有时候一艘巨轮的侧方出现了破洞，但业界却决定坐等船体下沉、并把希望寄托在销售救生艇身上。也有些时候，这些问题似乎并没到要闹出人命的地步——类似我家里浴室的状况，只有往一边拧龙头才会出水。过一阵子我可能会找机会修理一下，但事实上这个问题已经存在了12年之久了。而在面对大数据业务...
2018-05-24 20:41:47
3621
原创 深度解析数据分析、大数据工程师和数据科学家的区别
数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览facebook的好友动态，你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。这些角色的职责范围，从预测未来，到发现你周围世界的模式，到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色，他们如何组合在一起...
2018-08-18 11:23:20
2667
1
原创 Java转职大数据人群常用的20多个大数据工具
最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。这是一个系列，主题为：语言 web框架 应用服务器 SQL数据访问工具 SQL数据库 大数据 构建工具 云提供商今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。在许多情况下，使用SQL数据库用于存储/检...
2018-08-04 17:52:59
422
原创 出一套高端大数据开发面试题（刷起来！！！）
一千个读者眼中有一千个哈姆雷特，一千名 大数据 程序员心目中就有一千套 大数据面试题。本文就是笔者认为可以用来面试大数据 程序员的面试题。这套题的题目跟公司和业务都没有关系，而且也并不代表笔者本人可以把这些题回答得非常好，笔者只是将一部分觉得比较好的题从收集的面试题里面抽出来了而已。收集的面试题有以下三个来源：笔者在准备面试的过程中搜集并整理过的面试题。 笔者在准备面试的过程中自己思...
2018-07-27 15:25:01
13467
原创 高级Java研发师在解决大数据问题上的一些技巧
众所周知， Java 在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法; 例如，我们要将 数据库 (不论是什么数据库)的数据导出到一个文件，一般是Excel或文本格式的CSV;对于Excel来讲，对于POI和JXL的接口，你很多时候没有办法去控制内存什么时候向磁盘写入，很...
2018-07-23 13:47:43
370
原创 大数据学习资源最全版本（收藏）
资源列表： 关系数据库管理系统（RDBMS） 框架 分布式编程 分布式文件系统 文件数据模型 Key -Map 数据模型 键-值数据模型 图形数据模型 NewSQL数据库 列式数据库 时间序列数据库 类SQL处理 数据摄取 服务编程 调度 机器学习 基准测试 安全性 系统部署 应...
2018-07-20 17:40:08
736
原创 谁是第一学习深度学习框架
我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。 「第一个深度学习框架该怎么选」对于初学者而言一直是个头疼的问题。本文中，来自 deepsense.ai 的研究员给出了他们在高级框架上的答案。在 Keras 与 PyTorch 的对比中，作者还给出了相同神经网络在不同框架中性能的基准测试结果。目前在 GitHub 上，Keras 有超过 31,000 个 Stars，而晚些出现的 Py...
2018-07-17 20:24:52
382
原创 如何设计淘宝天猫这种成功而有价值大数据可视化？
大数据人工智能淘宝天猫双十一幕后:实时可视化查询大屏这张图片来源于天猫双十一数据直播，来自大数据可视化的魅力【what】什么是数据可视化?塔夫特所说，“图形表现数据。实际上比传统的统计分析法更加精确和有启发性。”对于广大的编辑、设计师、运营分析师、大数据研究者等等都需要从不同维度、不同层面、不同粒度的数据处理统计中，借助图表和信息图的方式为用户(只获得信息)、阅读者(消费信息)及管理者(利用信息进...
2018-07-15 17:11:36
1424
原创 七种最常见的Ｈａｄｏｏｐ和Ｓｐａｒｋ项目，你见过几种？
如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常...
2018-06-20 10:56:06
2449
原创 大数据构架师学习入门到精通，必看宝典
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系统、硬件、网络、服务器感兴趣?是软件专业，对软件开发、编程、写代码感兴趣?还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是...
2018-06-13 11:06:31
470
原创 大数据Hadoop：杀鸡用的宰牛刀
Hadoop是个庞大的重型解决方案，它的设计目标本来就是大规模甚至超大规模的集群，面对的是上百甚至上千个节点，这样就会带来两个问题：自动化管理管任务分配机制：这样规模的集群，显然不大可能针对每个节点提供个性化的管理控制，否则工作量会大到累死人，必须采用自动化的管理和任务分配手段，而这并不是件简单的事情。强容错能力：大规模集群在某个任务执行周期内，也就是几小时之内，都有可能发生设备故障。如果没有强容...
2018-06-05 19:09:33
341
转载 大数据Storm相比于Spark、Hadoop有哪些优势(摘录)
一、可能很多初学大数据的伙伴不知道strom是什么，先给大家介绍一下strom：分布式实时计算系统，storm对于实时计算的意义类似于hadoop对于批处理的意义。storm的适用场景。流数据处理。Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。分布式rpc。由于storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式rpc框架来使用。当然，其实...
2018-06-01 11:28:03
356
原创 Hadoop大数据面试题（全）
以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许的修改了回答了部分空白的问题，其中里面有些考题出的的确不是很好，但是也不乏有很好的题目，这些都是基于真实的面试来的，希望对即将去面试或向继续学习hadoop，大数据等的朋友有帮助！ 前言有一句话叫做三人行必有我师，其实做为一个开发者，有一个学习的氛围跟一个交流圈子特别重要这是一个我的大数据交流学习群5316291...
2018-05-22 20:32:40
49872
2
原创 如何选择大数据的编程语言
前言有一个大数据项目，你知道问题领域(problem domain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学...
2018-05-20 18:07:33
700
原创 java程序员转行大数据的优势
大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。分享之前我还是要推荐下我自己创建的大数据学习交流Qun5316...
2018-05-20 08:33:59
1019
原创 大数据未来发展行情之是否值得转职学习
前言有很多人想转行做大数据，但是很少成功，有很多学校陆续开大数据相关专业，大数据为什么这么火，大数据的未来又将何去何从呢？以至于现在普通的大数据开发师的工资能达到2w+的水平，请持续关注小编，每天不定时发布大数据最新消息，学习方法，就业形式大数据背景 据职业社交平台LinkedIn发布的《2017年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分...
2018-05-20 08:21:47
1262
原创 教你如何成为Spark大数据高手
Spark目前被越来越多的企业使用，和Hadoop一样，Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手？下面就来个深度教程。Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数...
2018-05-18 10:29:18
602
原创 大数据工程师面试题之互联网公司篇
大数据工程师是近几年异常火爆的职位，市场需求旺盛，众多互联网公司都打出了高薪招聘的广告，本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题，希望对各位技术人员有所帮助。分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干...
2018-05-18 09:56:31
748
原创 如何在万亿级别规模的数据量上使用Spark
一、前言Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何快速掌握Spark以及DataMagic平台是如何使用好Spark的。分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论...
2018-05-14 18:17:42
263
原创 你可能不知道的大数据开发的十个技巧
前言“当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff汇总一些自己在大数据路上走过的弯路，愿大家不再掉坑…1.分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop ...
2018-05-14 13:27:27
423
原创 什么是大数据挖掘技术
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。什么是大数据挖掘？分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群...
2018-05-14 13:22:28
28817
原创 大数据从业者应该知道的开源工具（全）
前言想要成为大数据工程师这些开源工具你要有所了解一、Hadoop相关工具1. HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OS X。相关链接：http://hadoop.apache.org2. Ambari作为Hadoop生态系统的一部分，这个Apa...
2018-05-13 10:33:58
350
原创 关于反爬虫，看完这篇文章就够了
你被爬虫侵扰过么？当你看到“爬虫”两个字的时候，是不是已经有点血脉贲张的感觉了？千万要忍耐，稍稍做点什么，就可以在名义上让他们胜利，实际上让他们受损失。分享之前我还是要推荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合20...
2018-05-10 22:57:00
521
原创 为何大数据开发师的工资能这么高
前言有很多人想转行做大数据，但是很少成功，有很多学校陆续开大数据相关专业，大数据为什么这么火，大数据的未来又将何去何从呢？以至于现在普通的大数据开发师的工资能达到2w+的水平，请持续关注小编，每天不定时发布大数据最新消息，学习方法，就业形式大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的...
2018-05-09 17:44:50
3156
原创 如何利用数据挖掘告别单身
前言数据挖掘让程序员的爱情变得多姿多彩分享之前我还是要推荐下我自己创建的大数据学习资料分享群531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据教程，欢迎初学和进阶中的小伙伴。一 为什么做爱情战略分析？基于对爱情的三个重要假设1、爱情是稀缺的情感资源：由于是稀缺资源，因此爱情存在竞争和选...
2018-05-08 16:17:41
201
原创 人工智能与大数据开发的12个注意事项
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。在我们新近翻译的《智能Web算法》(第2版)中，对Pedro Domingos教授的观点进行了高度的概括，提炼出12个注意点，为行业开发实践提供了重要参考：注意点...
2018-05-05 17:49:47
1374
原创 如何快速学习大数据挖掘分析（个人观点）
本文梳理了学习大数据挖掘分析的思路和步骤，为大家提供了一些参考，希望能对大家有所帮助。最近，很多人都咨询过，想学大数据，但不知道怎么开始，在哪里开始学习，需要学什么东西？对于初学者来说，学习大数据挖掘分析的逻辑是什么？本文从0开始梳理如何学习大数据挖掘分析和学习步骤，并给出一个学习建议。希望可以帮助到大家很多人认为数据挖掘需要掌握复杂、深刻的算法，掌握数据挖掘技术和分析技术是很有必要的。如果你钻研...
2018-05-04 21:25:54
7556
1
原创 你想快速成为大数据工程师？
学习大数据没有零基础入门，首先你要成爲一名工程师在技术论坛中或知乎上，看到近几万的冤家都在疑惑，学习Java应该选择什麼展开方向，这个我们在之前的文章中有提到过，Java展开在范围上有三个选择方向：分享之前我还是要举荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的已经资讯上传到群文件，不活...
2018-05-04 21:23:38
1729
原创 大数据到底怎么学：数据科学概论与大数据学习误区
“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-Will Cukierski，Head of Competitions & Data Scientist at Kaggle最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的...
2018-05-04 21:20:59
291
原创 如何快速成为数据分析师（个人角度）
说来我正式接触数据分析也快一年，对速成还是有一些心得。优秀的数据分析师是不能速成的，但是零经验也有零经验的捷径。分享之前我还是要推荐下我自己创建的大数据学习资料分享群 710219868 代号风火，这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据教程，欢迎初学和...
2018-04-19 14:50:36
2589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人