2018年11月_铁拳虎

原创月薪35-60K的大数据开发工程师们，他们背后是如何学习的

大数据开发相关职位的薪资，主要有hadoop工程师，数据挖掘工程师、大数据算法工程师等，从平均薪资来看，目前大数据相关岗位的月薪均在2万以上，随着项目经验的增长工资会越来越高。那么对于新手来说，应该如何开始学习，才能够早日的实现月薪2万多的目标。就小编了解的来说，新手一般需要一年以上的时间才能够达到2万以上的薪资，目前很多人选择参加培训然后快速进入工作岗位，积累经验，客观的讲在目前的情况下，不...

2018-11-30 16:41:21 483

转载云计算、大数据、人工智能的关系

对一个大数据公司，积累了大量的数据，也会使用一些人工智能的算法提供一些服务。对于一个人工智能公司，也不可能没有大数据平台支撑。所以云计算，大数据，人工智能就这样整合起来，完成了相遇，相识，相知。一、云计算最初是实现资源管理的灵活性我们首先来说云计算，云计算最初的目标是对资源的管理，管理的主要是计算，存储，网络资源。本人对于大数据学习创建了一个小小的学习圈子，为各位提供了...

2018-11-27 23:03:28 503

原创我是学Java的，想尝试学习大数据和数据挖掘，该怎么规划学习路线？

个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。背景介绍完毕，开始正式一本正经回答问题:本回答目录:一.大数据方向工作介绍二.大数据工程师的技能要求三.大数据学习路径四.学习资源推荐（书籍、博客、网站）一.大数据方向工作介绍大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质...

2018-11-26 17:30:29 456

原创想转行大数据，如何开始学习 Hadoop？

想转行大数据，如何开始学习 Hadoop？学习大数据首先要了解大数据的学习路线，首先搞清楚先学什么，再学什么，大的学习框架知道了，剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线：hadoop生态圈——Strom——Spark——算法。所以学习hadoop是第一步，在这里声明一下，在学习hadoop之前需要有java基础，因为hadoop底层全是用j...

2018-11-25 21:54:23 284

原创大数据资源整理

大数据最近几年很火，如果你去问读研的小伙伴，搞计算机的，我相信不是搞数据处理就是搞机器学习的，这都属于大数据的范畴。虽然大数据很火，但是网上的资源却比较少，主要是很零碎，不成体系。当然，想要搞大数据，数学知识诸如：高等数学，线性代数，概率论，统计学……是必不可少的，我这里就不介绍这些相关资源了；当然也不整理算法啦、数据结构啦、具体的语言学习啦这些基础知识；那肯定更不会整理大数据相关的...

2018-11-23 20:35:41 277

原创从业大数据方向，需要掌握哪些技能，具体学习路线是什么？

一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:1. 大数据工程师2. 数据分析师3. 大数据科学家4. 其他（数据挖掘等）二、大数据工程师的技能要求附上大数据工程师技能图：本人对于大数据学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习大数据。欢迎各位到来大数据学习群：868847735 一起讨论视频分享学习。大数据是...

2018-11-22 12:02:16 2599

原创新手如何进入大数据领域，学习路线是什么？

大数据不是某个专业或一门编程语言，实际上它是一系列技术的组合运用。有人通过下方的等式给出了大数据的定义。大数据 = 编程技巧 + 数据结构和算法 + 分析能力 + 数据库技能 + 数学 + 机器学习 + NLP + OS + 密码学 + 并行编程虽然这个等式看起来很长，需要学习的东西很多，但付出和汇报是成正比的，至少和薪资是成正比的。既然要学的知识很多，那么一个正确的学习顺序就非...

2018-11-21 15:05:23 2657 1

原创 5个常用的大数据可视化分析工具，你知道吗？

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。 1.Tableau...

2018-11-19 13:08:18 38360

原创大数据分析学习的详细解读

以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。一、大数据分析的五个基本方面1，可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点...

2018-11-18 14:13:03 3559

原创大数据技术开发最火的核心技术-Kafka

大数据时代来临，如果你还不知道Kafka那你就真的out了！据统计，有三分之一的世界财富500强企业正在使用Kafka，包括所有TOP10旅游公司，7家TOP10银行，8家TOP10保险公司，9家TOP10电信公司等等。 LinkedIn,Microsoft和Netflix每天都用Kafka处理万亿级的信息。Kafka主要应用于实时信息流的大数据收集或者实时分析（或者两者...

2018-11-15 12:14:04 229

原创 hadoop程序员用自己5年的实战经验告诉你大数据是这样搭建环境

Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。安装前设置在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Lin...

2018-11-14 22:46:59 733

原创什么是大数据？如何成为大数据开发工程师技术大牛？

其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。目前市场对大数据相关人才的需求与日俱增，岗位的增多，也...

2018-11-13 16:41:41 1279

原创自学大数据需要从哪里入手收藏了一份详细的学习路线图

近期，经常听到这样一句特别豪气的话"我家里有矿"！对于数据而言，没有大数据技术的数据一无是处，但经过大数据技术处理的数据，就是金矿，价值连城！面临能将"矿"玩弄于股掌之间的大数据技术，谁能坐怀不乱？谁又能忍心放弃这个难得的机遇呢？那么问题来了，该如何学习大数据技术呢？学习是一项很好的技能，但也需要循序渐进！学习大数据的头一步：打好基础，比高逼格的大数据技术更重要！而基础知识就是：编程语言和...

2018-11-12 15:32:08 1443

原创常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在B...

2018-11-11 10:09:18 2008

原创做为一名大数据新手，如何成为大数据工程师？附上学习路线

这几年来大数据非常的热门，到处都有大数据分析的演讲。演讲内容通常是宣传各种大数据分析成功的案例。但实际上大数据该怎么做呢？大部份的讨论似乎都仅止于怎么搜集大量的数据，然后用个工具（hadoop/spark）后就会马上变出商机和钱来。大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式 (highly scalable programs.)目前大数据相关工作可以粗分几...

2018-11-09 13:25:26 16069 4

转载终于有人把云计算、大数据和人工智能讲明白了！

今天跟大家讲讲云计算、大数据和人工智能。这三个词现在非常火，并且它们之间好像互相有关系。一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员，就可能比较难理解这三者之间的相互关系，所以有必要解释一下。云计算最初的目标我们首先来说云计算。云计算最初的目标是对资源的管理，管理的主要是计算资源...

2018-11-08 12:20:35 3080

原创以Hadoop入门大数据

以Hadoop入门大数据一、Hadoop简介1.什么是Hadoop-Apache™ Hadoop® project 生产出的用于高可靠、可扩展、分布式计算的开源软件，它允许通过集群的方式使用简单的编程模型分布式处理大数据，它可以从单一的服务器扩展到成千上万的机器，每一台机器都能提供本地计算和存储。Hadoop认为集群中节点故障为常态，它可以自动检测和处理故障节点，所以它不依赖硬件...

2018-11-07 22:10:57 232

原创小白学习大数据掌握这几个方法可轻松入门

有很多学习大数据的朋友，在初期学习时，通常会对如何学习而感到迷茫。我经常看到关于如何入门、如何规划学习大数据、大数据的学习流程是什么的一些问题。今天我就粗浅的总结几点学习大数据方法。一、兴趣建立兴趣是可以让一个人持续关注一个事物的核心动力,那么兴趣的培养就非常重要了。如果你把写程序单纯作为赚钱手段，久而久之疲劳感会越来越强，会给今后的工作和生活带来很大的压力。那么如何建立起对大数据的兴...

2018-11-06 14:15:52 244

原创想学习大数据？这才是完整的大数据学习体系

大数据干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另：目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段：大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源...

2018-11-04 12:44:26 765

原创 sparkSQL的整体实现框架

是让那些初次接触sparkSQL框架的童鞋们，希望他们对sparkSQL整体框架有一个大致的了解，降低他们进入spark世界的门槛，避免他们在刚刚接触sparkSQL时，不知所措，不知道该学习什么，该怎么看。这也是自己工作的一个总结，以便以后可以回头查看。后续会对sparkSQL进行一系列详细的介绍。慢慢来吧~~~1、sql语句的模块解析当我们写一个查询语句时，一般包含三个部分，se...

2018-11-03 16:38:06 301

原创学习大数据课程 spark 基于内存的分布式计算框架（二）RDD 编程基础使用

学习大数据课程 spark 基于内存的分布式计算框架（二）RDD 编程基础使用 1.常用的转换假设rdd的元素是： {1,2,2,3} 很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且...

2018-11-02 21:02:07 783

原创什么是大数据？如何成为大数据工程师？

这几年来大数据非常的热门，到处都有大数据分析的演讲。演讲内容通常是宣传各种大数据分析成功的案例。但实际上大数据该怎么做呢？大部份的讨论似乎都仅止于怎么搜集大量的数据，然后用个工具（hadoop/spark）后就会马上变出商机和钱来。笔者是工程师而非技术或平台传教者，我想用务实一点的方式来看待大数据。大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式 (highly...

2018-11-01 22:30:38 266

juan189的博客