大数据开发工程师的博客

一个工作了两年的开发工程师,为大家分享一些自己的心得体会。

年薪百万的大数据开发者读过的书

大数据开发工程师是当今技术行业中最受欢迎的工作之一。事实上,如今这些专家供不应求,如果你打算在大数据领域开展职业生涯,不妨先看看这些书,在本文中,我罗列了云计算、大数据、Hadoop和Apache Spark的最佳书籍,希望对大家有帮助 云计算 1、《让云落地》 本书很适合正在纠结如何选择云服务...

2018-09-27 22:11:57

阅读数 116

评论数 0

Hive应用:外部分区表

介绍 Hive可以创建外部分区表。创建表的时候,分区要在建表语句中体现。建完之后,你不会在表中看到数据,需要进行分区添加,使用alter语句进行添加。然后数据才会显示。 微信公众号:大数据小世界 样例 有如下的目录结构。 建表语句: create external table Tbl_Custo...

2018-09-26 22:10:40

阅读数 57

评论数 0

大数据九个你一定会触碰到的应用领域

随着大数据的应用越来越广泛,应用的行业也越来越低,我们每天都可以看到大数据的一些新奇的应用,从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据的分析影响,但是大数据是如何帮助人们挖掘出有价值的信息呢? 下面就让我们一起来看看九个价值非常高的大数据的应用,这些都是大数据在分析应用...

2018-09-25 15:22:03

阅读数 117

评论数 0

大数据领域三大分类

1、Hadoop大数据开发方向 2、数据挖掘、数据分析&机器学习方向 3、大数据运维&云计算方向 关注微信公众号:大数据小世界 大数据学习什么 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经成为了语言排行第一名。 语...

2018-09-21 22:24:47

阅读数 632

评论数 0

零基础学习大数据的33个知识点整理

数据、信息和知识是广义数据表现的不同形式。 主要知识模式类型有:广义知识,关联知识,类知识,预测型知识,特异型知识 web挖掘研究的主要流派有:Web结构挖掘、Web使用挖掘、Web内容挖掘 一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理、.数据挖掘...

2018-09-20 19:31:18

阅读数 220

评论数 0

什么是开发人员必须要学会的数据库锁?

1.锁? 1.1何为锁 微信公众号:大数据小世界 锁在现实中的意义为:封闭的器物,以钥匙或暗码开启。在计算机中的锁一般用来管理对共享资源的并发访问,比如我们java同学熟悉的Lock,synchronized等都是我们常见的锁。当然在我们的数据库中也有锁用来控制资源的并发访问,这也是数据库和文件...

2018-09-19 22:08:43

阅读数 80

评论数 0

掌握了这些知识麻麻再也不用担心我学大数据了

大数据原理与实践 大数据分三大部分,包括:大数据基础、技术原理和创新实践。 微信公众号:大数据小世界 大数据基础部分主要介绍大数据的基本概念、技术架构和大数据的应用场景; 第二部分大数据技术原理主要介绍大数据的感知与采集、大数据存储、大数据管理、大数据计算、大数据分析、以及大数据可视化与可视化分...

2018-09-19 22:02:27

阅读数 1213

评论数 0

为什么开发人员必须要会大数据锁?

1.锁? 1.1何为锁 关注 公众号:大数据小世界 锁在现实中的意义为:封闭的器物,以钥匙或暗码开启。在计算机中的锁一般用来管理对共享资源的并发访问,比如我们java同学熟悉的Lock,synchronized等都是我们常见的锁。当然在我们的数据库中也有锁用来控制资源的并发访问,这也是数据库和文件...

2018-09-19 14:33:43

阅读数 44

评论数 0

大数据四个一定要掌握的知识点

大数据已经成为时代发展的趋势,很多人纷纷选择学习大数据,想要进入大数据行业。大数据技术体系庞大,包括的知识较多,系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识? 1、学习大数据首先要学习Java基础 怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种计算机编程语言。...

2018-09-18 21:43:47

阅读数 795

评论数 0

web点击流日志分析系统实战项目

微信公众号:大数据小世界 项目介绍 在PC时代,营销的核心是购买,在移动互联网时代,其核心是如何实现用户个性化互动,对用户传播更为精准化的内容,而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问...

2018-09-18 19:31:43

阅读数 435

评论数 0

Hadoop20个必学知识点

本文主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whi...

2018-09-17 19:41:59

阅读数 90

评论数 0

HADOOP1.X中HDFS工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本...

2018-09-17 16:05:02

阅读数 43

评论数 0

轻松使用掌握Hadoop RPC

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。 关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就...

2018-09-17 15:29:48

阅读数 39

评论数 0

大数据学习指南

前段时间,ThoughtWorks在深圳举办一次社区活动上,有一个演讲主题叫做“Fullstack JavaScript”,是关于用JavaScript进行前端、服务器端,甚至数据库(MongoDB)开发,一个Web应用开发人员,只需要学会一门语言,就可以实现整个应用。 受此启发,我发现Pyth...

2018-09-17 14:07:44

阅读数 177

评论数 0

程序猿的我自修养

淘宝商品数据挖掘 数据来源: 自己写个爬虫爬吧,爬到后入库(mysql)。 数据清洗: 所谓的数据清洗,就是把一些异常的、缺失的数据处理掉,处理掉不一定是说删除,而是说通过某些方法将这个值补充上去,数据清洗目的在于为了让我们数据的可靠,因为脏数据会对数据分析产生影响。 拿到数据后,我们进...

2018-09-14 15:18:06

阅读数 55

评论数 0

大数据架构师必读:常见的七种Hadoop和Spark项目案例

如果你现在在做Hadoop的项目的话,下面的七种常见项目肯定会跟你的项目挂钩。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技...

2018-09-10 17:52:03

阅读数 112

评论数 0

HBase基本操作(教程)

HBase 组件接口文档 基本概念 table: 表 columnFamily:列族,一个表下可以有多个列族,但是不建议设置多个列族,HBase建议设计长窄型的表而不是短宽型。 qualifier:列,一个列族下可以有多列,一个表中的列可以是不对齐的,但是这样效率不高,同一张表中的列最好是...

2018-09-07 19:45:19

阅读数 527

评论数 0

从0到1搭建基于大数据的优秀质量平台

2017 年开始,全面负责优酷质量部平台建设工作,建立起以大数据为基础的视频质量保障体系,高效结合了实时度量、监控、灰度、告警、定位、分析等多项功能,形成一套完整质量保障解决方案,成为优酷业务线以及阿里相关多媒体质量唯一标准。 平台搭建背景 随着优酷技术栈和阿里不断整合,各客户端埋点数据参...

2018-09-04 14:43:18

阅读数 174

评论数 0

小数据符合大数据

对于任何对使用数据解决业务问题感兴趣的人来说,大数据和分析领域都有巨大的学习机会。大数据是一门兼容性很强的行业,只要你想,就能学习,并且以此来提升你的薪水待遇。而今天,我就将讲述,为什么我们要去学习大数据,为什么要不辞辛苦的去转行学习大数据,因为这是一个机会,一个千载难逢的机会。 数据科学最佳实...

2018-09-03 21:38:09

阅读数 85

评论数 0

Python超越Java成为大数据全栈式语言

前段时间,ThoughtWorks在深圳举办一次社区活动上,有一个演讲主题叫做”Fullstack JavaScript”,是关于用JavaScript进行前端、服务器端,甚至数据库(MongoDB)开发,一个Web应用开发人员,只需要学会一门语言,就可以实现整个应用。 Python为什么能...

2018-09-03 20:58:13

阅读数 257

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭