关注
分享
qqxhb
【内推】【社招】【校招】【实习】【字节跳动】
字节内推，职位类别涵盖研发、产品、运营、设计、市场、销售、职能/支持、教研教学、游戏策划多个方向，具体职位信息可访问内推地址查看。
内推的优势是可以让你的简历被优先筛选哦，欢迎投递！
字节跳动校招内推码: 4PNP6DF
投递链接: https://jobs.toutiao.com/s/eJ161U5
社招：https://job.toutiao.com/s/e1oKkLm
个人公众号：了不起的我和你
展开
-
Hadoop分布式文件系统——HDFS原理及示例（全）
1、HDFS 简介HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普...原创 2019-08-19 11:43:18 · 387 阅读 · 0 评论 -
Hadoop——MapReduce思想架构及入门案例
1、MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map 负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce 负责“合”，即对map阶段的结果进行全局汇总。...原创 2019-08-19 14:42:16 · 185 阅读 · 0 评论 -
Hadoop——MapReduceTask及实例
1. MapReduce 中的计数器计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务， 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易...原创 2019-08-19 18:17:58 · 305 阅读 · 0 评论 -
Hadoop ——入门和集群环境搭建
涉及内容 Hadoop的介绍 集群环境搭建准备工作 Linux命令和Shell脚本增强 集群环境搭建大数据概述 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策. 处理流程: 1:获取数据 2:处理数据 3:展示...原创 2019-08-19 19:16:13 · 366 阅读 · 0 评论 -
Hadoop——不得不提的数据仓库Hive架构、安装及操作全解
1. 什么是数仓1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因1.2...原创 2019-08-20 13:37:26 · 361 阅读 · 0 评论 -
大数据及Hadoop基础
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以让开发者在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。原创 2019-12-23 18:15:01 · 130 阅读 · 0 评论