- 博客(54)
- 收藏
- 关注
RSS订阅
原创 大数据工程师干不过35岁？大数据职业发展前景如何？
大数据工程师干不过35吗？事实上，大数据工程师现在十分吃香，而且工作经验越高越抢手，不存在“干不过35岁”的说法。如果大家真的掌握了大数据技术，其职业发展前景是完全不用担心的。大数据工程师干不过 35岁大数据为什么这么火？与以往相比，我们除了有能力存储更多的数据量之外，还要面对更多的数据类型。这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等...
2020-02-08 15:15:49
12138
1
原创 2020Python该怎么学？我用这14张学习路线图，直观的告诉你
一.概述2018年Python语言可以说是火的一塌糊涂，作为一门将近20年的计算机语言，直到最近才流行起来，真是可以说是大器晚成。说句实在话，Python语言的大火与人工智能这门科学是密不可分的。那么Python只能做人工智能吗？答案:肯定不是。Python作为小白入门的计算机语言在合适不过了。那我们一起来看看Python语言最好的学习路线是什么，我给大家整理一份学习路线图，大家可以参考看一下。我知道对于绝大多数的人来说，学习编程的第一目的其实就是想找一份有发展前景，并且薪资待遇还不错的工作，那
2020-05-12 14:54:14
343
原创 掌握这个学习方法，让 Python 不再从入门到放弃
随着数据科学概念的普及，Python 这门并不算新的语言火得一塌糊涂。因为写了几篇用 Python 做数据分析的 文章，经常有读者和学生在留言区问我，想学习 Python，该如何入手？我经常需要根据他们的不同情况，提出对应的建议。这样针对性虽强，但效率不高。这个问题，我还是写出来，让更多的人一同看到吧。有几位出版社的编辑，给我发私信，鼓励我赶紧写一本 Python 教材出来。我暂时还没有写 P...
2020-04-27 12:25:05
595
原创 我的Python自学之路:Python学习线路图
Python有三大神器，包括numpy,scipy,matplotlib,因此适合用于数据处理。spark，Hadoop都开了Python的接口，所以使用Python做Python的mapreduce也非常简单。因此它也备受欢迎，python学习大纲分享给大家。一、Python基础1.2数据的存储1.3运算符与表达式1.4循环1.5基础数据结构12.1基础数据结构2...
2020-04-24 17:06:24
431
原创 小白学Python不知道从哪里入手？Python的详细路线图
在这个信息爆炸的时代，以 “Python入门” 为关键字搜索出的结果成千上万。不少小白选手难免会东一榔头西一棒槌。这是一篇 Python 入门指南，针对那些没有任何编程经验，从零开始学习 Python 的同学。不管你学习的出发点是兴趣驱动、拓展思维，还是工作需要、想要转行，都可以此文作为一个参考。非诚勿扰：正在学习python的小伙伴或者打算学习的，可以加我建立的Python峮...
2020-04-23 17:31:45
1347
原创 高赞！能拿50W+年薪的大数据学习路线！
技术更新迭代速度很快，我们必须时刻保持危机感！一步跟不上，步步跟不上！大数据是当时时代下一门炙热的IT学科，行情十分火爆，不论是阿里巴巴、百度这样的大公司，还是中小企业都很重视，甚至是第一个纳入国家战略的技术，政府扶持力度大，支持甚多！面对这样的大环境下，大数据相关岗位薪水高，就业前景好。因此也吸引了一大批有志之士，想学习并从事大数据相关工作。大数据前景分析随着国家重视大数据，政府...
2020-04-18 10:38:45
375
原创 大数据工程师学习计划
数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。针对以上主要的4个特征我们需要考虑以下问题：数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。 数据采集之后，该如何存储？，对应出现了GFS，HDFS，T...
2020-02-18 14:56:38
542
原创 大数据的学习需要预先了解哪些基础知识？
计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台计算机完成，而只能由多台机器共同承担计算任务。而在分布式环境中进行大数据处理，除了与存储系统打交道外，还涉及计算任务的分工，计算负荷的分配，计算机之间的数据迁移等工作，并且要考虑计算...
2020-02-17 16:54:14
395
原创 如何进行大数据的入门级学习?
不知道你是计算机专业应届生还是已经从业者。总之，有java基础的学生学习大数据会轻松很多，零基础的小白都需要从java和linux学起。如果你是一个学习能力特别强，而且自律性也很强的人的话可以通过自学。对于能够学的会的人来讲(学不会就不用自学了)自学的最大缺点就是无法找到真正的大数据实训项目。网络上共享的一些凭空想象的项目根本无法达到企业的要求。所以这个是需要你自己考虑的。当然，如果你...
2020-02-16 15:39:18
379
原创 大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？谢谢？
首先，工作本身没有好坏之分，只有门槛高低之别。大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉，就只剩下，开发，分析，运维。当然还有其它的工作，例如运营，产品，讲师，测试等。 加上了大数据，只是我们的工作内容，或者说是工作方式发生了变化。大数据是传统行业，传统技术逐步发展的产物。但是并没有打破我们在传统行业的工作模式，和我们的一些基础知识的储备。革新的只有处理技术，工...
2020-02-15 15:26:32
4329
1
原创 大数据开发常用的编程语言有哪些
学习大数据开发需要掌握编程语言，哪些是大数据开发常用的编程语言呢，一起了解下吧。1.Python语言如果你的数据科学家不使用R，他们可能就会彻底了解Python。如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使...
2020-02-14 14:56:45
4477
原创 大数据画像：85%在线学习者“知道但不了解人工智能”，更多人对AI普及应用存顾虑
摘要：上海60%以上学习者对人工智能教育教学应用持“看好，相信有很大的发展空间”的态度；30%以上学习者“观望中，保持中立”；只有4%比例持“不看好，只是噱头”或“不太关心”的保守或负面态度。谁在学？为何学？学什么？基于大数据画像方法，上海对终身学习进行精准化调查。10日，全国教育科学规划国家级课题——“大数据下在线学习用户画像的构建及其应用研究”，在“AI+终身教育应用学术论坛”上披露《...
2020-02-13 18:43:44
728
原创 大数据经典学习路线（及供参考）
近几年，很多人都听到过一个名词“大数据”也有一部分人选择学习了解大数据，那么大数据到底是什么？学习大数据需要有Java基础吗？接下来，小编带你详细了解一下。如果要学习大数据，不管你是零基础，还是有一定的基础，都应该知道在学大数据之前一定要懂至少一种计算机编程语言，因为大数据的开发离不开编程语言，不仅要懂，还要精通！大数据到底是什么呢？其实从概念上解释总归是不具体的，要想真正清楚地...
2020-02-12 16:39:21
1617
原创 什么是大数据采集？大数据采集的过程是什么？
大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。麦肯锡研究表明，在医疗、零售和制造业领域，大数据每年可以提高劳动生产率0.5-1个百分点。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，那么什么是大数据...
2020-02-11 13:28:21
15194
原创 [学习线路] 零基础学习hadoop到上手工作线路指导（初级篇）
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，整个过程整理一下，给大家参考，欢迎讨论，共同学习。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop,没有太大的困难。首先整体说一下学习过程给大家借鉴：首先查阅了资料，什么是hadoop，至于这方面，你可以参考这个帖子hadoop新手学习指导。对...
2020-02-09 14:32:44
210
原创 详解：大数据开发的学习之路
学习大数据已经有一段时间了，抽空回顾一下自己学习的一些内容。下图主要为自己学习大数据的一个过程。阶段一：Java基础掌握JAVA基本语法、面向对象、集合、IO流、多线程、网络编程阶段二：MySQLCRUD阶段三：Linux常用的操作命令阶段四：Hadoop生态系统...
2020-02-09 13:37:21
287
原创 码农转型大数据开发有必要吗？有前景吗？
想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：用人单位对于大数据开发人才的能力要求有技能要求：1.精通JAVA开发语言，同时...
2020-02-07 14:34:48
1168
原创 大数据学习 第一篇--基础知识入门篇
大数据入门总结一下近期学习的大数据知识学习之前没搞清楚的知识传统的web应用(LAMP、JavaEE、NODE系等)与大数据什么关系?之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样;即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库--如MySql，日志等非结构数据会保存在分布式...
2020-02-05 13:41:30
525
原创 从0开始学大数据-Hive性能优化篇
在工作中使用hive比较多，也写了很多HiveQL。这里从三个方面对 Hive 常用的一些性能优化进行了总结。表设计层面优化利用分区表优化分区表是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局数据，使得处理的数据量大大减少，从而提高查询效率。当一个 Hive 表的查询...
2020-02-04 16:26:02
274
原创 大数据之Hive总结篇及Hive优化
Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。什么是Hive先来谈谈自己的理解：有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive...
2020-02-04 16:23:19
1570
原创 大佬用了三年的时间终成Hadoop大数据分析与挖掘实战，值得一学
我国由于信息化程度不太高，企业内部信息不完整，零售业、银行、保险、证券等对大数据分析与挖掘的应用并不太理想。但随着市场竞争的加剧，各行业对大数据分析与挖掘技术的研究与应用意愿越来越强烈，可以预计，未来几年，各行业的数据分析一定都是大规模的数据挖掘与应用。在大数据时代，数据过剩、人才短缺，数据挖掘专业人才的培养又需要专业知识和职业经验积累。所以，本篇在注重大数据时代数据挖掘理论的同时，也注意与大...
2020-02-04 16:18:05
1106
2
原创 为什么学校里学习云计算或者大数据都要从hadoop开始?
1、 hadoop开源，更容易拿到源代码等，微软等相关产品都是闭源的。Hadoop和微软就好比安卓和ios。市面上华为，小米，三星基本上都在Google开源Android的基础上二次开发成自己的rom。2、 大数据现在是中国的十三五国家战略，大数据火啊，而Apache hadoop现在已经发展成一个庞大的生态圈。全球各地的开发者都在贡献者自己的代码。各个分支也是相当火爆，例如spark...
2020-02-04 15:22:02
470
原创 大数据专栏 | HDFS详解（理论知识）
大数据专栏 | HDFS详解（理论知识）HDFS 工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解概述：HDFS集群分为两大角色：NameNode、DataNode N...
2020-02-04 15:19:15
248
原创 零基础学习大数据Hadoop需要什么准备？Hadoop如何发展起来的？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。来简单介绍一下Hadoop的简史，以及学习Hadoop前要做哪些准备。狭义上，Hadoop就是单独指代Hadoop这个软件；广义上，Hadoop指代大数据的一个生态圈，包括很多其他的软件。Hadoop的起源1、2001年，Nut...
2020-02-04 15:17:11
248
原创 零基础如何转行大数据？系统学习路线在此
都知道大数据薪资高，前景好。而大数据又需要Java基础。对于稍微懂些Java的童鞋来说，到底如何转行大数据呢？今天小编给你一个大数据工程师具体的学习路线图。【ps：无java基础也可以学习大数据】分享转行经验路线对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在...
2020-02-04 15:13:04
397
1
原创 五个月成为一名大数据工程师，需要具备什么条件？
学习大数据没有零基础入门，首先你要成为一名工程师在技术论坛中，看到近几万的朋友都在疑惑，学习Java应该选择什么发展方向，这个咱们在之前的文章中有提到过，Java发展在领域上有三个选择方向：JavaEE，主要应用于企业级应用开发;安卓开发方向;嵌入式应用开发方向。在此建议大家选择JavaEE方向，因为应用非常广泛，岗位设置也比较多。Java的职业发展规划之路我们也曾在(一文阐述Java...
2020-02-04 15:09:25
442
原创 年薪50万大数据开发工程师：给想入门大数据行业的童鞋一些建议
总结了一些经验送给对大数据行业有兴趣的朋友。☟☟☟本人以前某五百强高级数据开发工程师一枚五年工作经验，一年多面试官经验。面试中经常会遇到这种情况：之前专心写web的Java码农突然转型想做大数据了，然后写几个大数据的项目经验跑来面试，结果就是一问三不知，还有好多人只是搭了个Hadoop环境就说自己是搞大数据的，然后来面数据开发，结果肯定悲剧。一这篇文章基本上就是一些经验的汇总。首先，我...
2020-02-04 15:06:00
449
1
原创 如何入门大数据（数据挖掘方面）
可供工程师选择的大数据岗位从雇主需求看，如何发掘自己转岗优势 为转岗工程师提供的建议ps：本回答较长，读完约要6分钟。可供工程师选择的大数据岗位大数据平台/开发工程师他们的工作重心在于数据的收集、存储、管理与处理。通常比较偏底层基础架构的开发和维护，需要这些工程师对 Hadoop/Spark 生态有比较清晰的认识，懂分布式集群的开发和维护。熟悉 NoSQL，了解 ETL，了解数...
2020-02-04 15:04:20
452
原创 年薪百万的大数据开发工程师要如何入门？
你们是不是都听过一句话：谷歌比你自己更了解你事实上，这句话并不是毫无根据，我们周边的一切无不体现数据的重要性，你想想，我们对自己的看法会受到多种主观和客观的因素影响，但谷歌却没有这些限制，而且掌握你所有的客观数据，而这些庞大的数据来源则得益于智能手机、网购记录、健身追踪器等大数据开发工程师是当今技术行业中最受欢迎的工作之一。事实上，如今这些专家供不应求，如果你打算在大数据领域开展职业生涯，...
2020-02-03 14:13:41
379
原创 大数据开发学习脑图+学习路线清晰的告诉你！月薪30K很轻松
近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！想学习好大数据可以加我vx号（VIP452141 ） 有视频资源分享一起学习第一阶段linux+搜索+hadoo...
2020-02-03 14:09:34
553
原创 初学大数据不知从何入手？总结十章大数据学习指南（建议收藏）
近三年，大数据这个词出现的频次非常高，不仅纳入各大互联网巨头公司的战略规划中，同时也在国家的政府报告中多次提及，大数据已无疑成为当今时代的新宠。大数据给大多数人的感觉是，专业性强，门槛高，完全属于“高大上”的技术。好奇的人或许会通过网络了解一些概念，而有一些人则看到了大数据带来的机遇，投入大数据学习的洪流当中，投身大数据行业为自己带来利益。经历“坎坷”的学习大数据历程后，在求学之路上有哪些具体容易...
2020-02-03 14:02:31
2529
原创 怎样成为一名数据分析师？需要学习什么技能？
据分析是个不错的职业，它可以带来职场新高度，带来薪资的提升。数据分析师作为未来的“潜力股”行业，非常值得大家学习，那么成为一名数据分析师需要做些什么呢？数据分析师，需要什么样的资格：统计或分析数学计算机科学信息管理商业信息系统财经统计学市场营销管理财务或投资等等数据分析师主要职责是什么：将花费大部分时间沉浸在原始数据中，试图找出如何...
2020-02-03 13:32:22
886
原创 阿里后台工程师教你搭建一个大数据分析平台，附大数据学习教程
一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：1、Linux系统安装一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。2、...
2020-02-03 13:29:05
1531
转载 大数据分析师学习入门，10个数据可视化技巧
我必须对你说实话：当我学习数据科学时，我完全低估了绘图的重要性。没错，那时一切都一团糟：我从头开始学习 python、熟悉了所有可能的算法、理解了所有东西背后的数学原理，但是我的绘图技巧很糟糕。为什么会这样?我们总是在做同样的事情。你知道的：pairplots，distplots，qqplots…你在可视化数据时使用图表是理解数据的唯一方法。这些都是非常有用、通用和默认的图表。所...
2020-02-03 13:16:34
439
原创 学习大数据分析需要什么基础？
身处21世纪的今天，数据分析行业急剧发展，越来越多的企业已经意识到大数据分析的重要性和发展潜力，同时越来越多的传统行业公司开始转型升级，开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生，基于自己的文科背景担忧自己能否零基础入门大数据行业，毕竟隔行如隔山，到时学不进去又误了自己找工作的时间，也是左右皆空啊；或许你刚毕业一两年，当初浑浑...
2020-02-03 13:11:20
837
原创 大数据学习路线（我自己的零基础到现在的总结）
大数据要怎样学：数据科学特点与大数据学习误区（1）大数据学习要事务驱动，不要技能驱动：数据科学的中心才能是处理问题。 大数据的中心方针是数据驱动的智能化，要处理详细的问题，不管是科学研讨问题，仍是商业决议计划问题，抑或是政府办理问题。 所以学习之前要清晰问题，了解问题，所谓问题导向、方针导向，这个清晰之后再研讨和挑选合适的技能加以使用，这样才有针对性，言必hadoop,spark的大数据剖析是...
2020-02-03 12:49:24
648
原创 「干货」一看就懂的15个数据分析方法
提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“ 分析 ”本身是每个人都具备的能力；比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线；购买机票、预订酒店时，比对多家的价格后做出最终选择。这些小型决策，其实都是依照我们脑海中的数据点作出判断，这就是简单分析的过程。对于业务决策者而言，则需要掌握一套系统的、科学的、...
2020-02-02 12:45:01
962
原创 零基础数据分析必知的数据分析流程
一个数据分析的项目，你的数据对象是谁？商业目的是什么？要解决什么业务问题？数据分析师对这些都要了然于心。基于商业的理解，整理分析框架和分析思路。例如，减少新客户的流失、优化活动效果、提高客户响应率等等。不同的项目对数据的要求，使用的分析手段也是不一样的。数据分析的目的就是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和...
2020-02-02 12:42:18
595
原创 数据分析里最基础的思维，新手、老手都必须学会
本文是《数据分析基础方法与思维》专题的第二篇，上一次我们讲了数据分析方法里的基础方法——对比分析，今天我们要讲的也是数据分析中非常重要的思维方法——细分分析。其实细分分析和对比分析一样，我们在生活中也会经常用到，也经常会被忽略。比如某次考试小明的名次很低，如果他的父母不懂细分，一定会不由分说地训斥小明，根本找不到小明成绩差的真实原因。而如果他们懂得细分分析，应该怎么做呢？应该将名次的维度转...
2020-02-02 12:31:33
412
原创 深入浅出，教你一步步实现数据分析入门、进阶
|数据分析最近有很多人在问数据分析的一些问题。关于数据分析到底应该怎么学？如何快速入门，以及技术和业务之间的瓶颈如何突破？其实，要学数据分析之前，至少要了解一下数据分析师，到底需要哪些技能。有的同学看到数据分析几个字，就马上开始Python函数+控制语句、R语言和ggplot库……上来一顿骚操作，还没入门就放弃了。这就是需求不明确导致的，当然学习方式也值得商榷，那到底数据分析需要什...
2020-02-02 11:58:35
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人