- 博客(11)
- 收藏
- 关注
RSS订阅原创 大数据开发学习过程中的一些经验总结
今年广州的六月，在经历了大雨的洗礼之后，一切都变得更加明朗起来，新的工作，新的人和事。懒惰让我变得更焦虑，焦虑促使我进步，程序员的焦虑大家应该都有共同的感觉，时代的步伐太快了，在这个环境下的软件开发一定会淘汰掉那些不懂得学习，懒惰的人。希望跟大家共勉。今天呢，博主主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大...
2019-06-12 21:59:56
1410
原创 大数据这么火，大数据到底可以用来做什么？
大数据为什么这么火？为什么很多公司不惜花高价聘请大数据工程师，对于企业来说，大数据可以用来做什么？大数据具有哪些商业价值呢？下面小千带大家详细了解一下。1、对顾客群体细分“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。...
2019-06-12 21:55:41
6010
原创 【华为内部狂转的想象力惊人的好文】趣谈大数据
趣谈大数据一、大数据的初步理解似乎一夜之间，大数据（Big Data）变成一个IT行业中最时髦的词汇。首先，大数据不是什么完完全全的新生事物，Google的搜索服务就是一个典型的大数据运用，根据客户的需求，Google实时从全球海量的数字资产（或数字垃圾）中快速找出最可能的答案，呈现给你，就是一个最典型的大数据服务。只不过过去这样规模的数据量处理和有商业价值的应用太少，在IT行业...
2019-06-12 16:42:06
2016
原创 Python和人工智能到底啥关系？
我们经常听到”Python“与”人工智能“这两个词，也很容易混淆这两个词，那么Python和人工智能到底什么关系呢？Python人工智能工程师待遇怎么样？关于PythonPython是一门计算机程序语言，目前在人工智能科学领域被广泛应用，广泛应用就表明各种库，各种相关联的框架都是以Python作为主要语言开发出来的。谷歌的TensorFlow大部分代码都是Python，其他...
2019-06-12 10:55:05
971
原创 大数据：Hadoop族群介绍
什么是Hadoop？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。2006年Hadoop项目诞生。Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被ApacheSoftware Foundation公司引入并成为开源应用。Hadoop...
2019-06-12 10:52:17
303
原创 大数据开发实战：美团是如何应用Spark处理大数据的？
前言美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展，单纯的Hive SQL查询或者MapReduce程序已经越来越难以满足数据处理和分析的需求。一方面，MapReduce计算模型对多轮迭代的DAG作业支持不给力，每轮迭代都需要将数据落盘，极大地影响了作业执行效率，另外只提供Map和Red...
2019-06-11 19:04:05
433
原创 史上最全“大数据”学习资源集合
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 为了帮助大家更好深入了解大数据...
2019-06-11 18:15:33
984
原创 Hadoop生态系统在壮大：十大炫酷大数据项目
在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物件”的传感器、结构化数据、非结构化数据以及可以收集的其他一切数据收集而来。为了应对这项任务，开发人员已开...
2019-06-11 18:14:26
234
原创 大数据开发实战：美团是如何应用Spark处理大数据的？
前言美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展，单纯的Hive SQL查询或者MapReduce程序已经越来越难以满足数据处理和分析的需求。一方面，MapReduce计算模型对多轮迭代的DAG作业支持不给力，每轮迭代都需要将数据落盘，极大地影响了作业执行效率，另外只提供Map和Red...
2019-06-10 23:10:25
814
原创 大数据平台的软件有哪些？
查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单...
2019-06-10 23:10:12
12111
2
原创 Python快速入门教材推荐！
Python作为现在很热门的一门编程语言，介于Python的友好，许多的初学者都将其作为首选，为了帮助大家更好的学习Python，我筛选了2年内优秀的python书籍，个别经典的书籍扩展到5年内。python现在的主流版本是3.7(有明显性能提升，强烈推荐) 3.6, 不基于这两个或者更新版本的书，慎重选择。很多库已经不提供python2支持，请尽快从python迁移到python3.7。...
2019-06-10 21:32:00
9481
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人