- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop 的核心（2）—— MapReduce & YARN
MapReduce 简介MapReduce 是一种编程模型，是一种编程方法，是抽象的理论。YARN 概念YARN 是 Hadoop 2.0 版本以后的资源管理器，即 MapReduce 2.0，相比于 1.0 版本，架构中的各个模块分工明确，在性能和稳定性上都有所提升。YARN 负责整个集群资源的管理和调度，也就是说所有的 MapReduce 都需要通过它来进行调度，支持多种计算框架。...
2018-01-31 05:41:49
266
原创 基于 PSO 算法解决 TSP 项目
PSO (Particle Swarm Optimization) 算法即粒子群优化算法，源于对鸟群捕食行为的学习。基本思想是：个体获取的局部信息提供给群体，群体根据所有局部信息获得一个动态的全局最优解，每个个体再根据这个全局最优解调整自身的局部最优解，这个过程进行迭代，直到达到终止条件。TSP (Traveling Salesman Problem) 即旅行商问题，简单来说就是：给定 n 个...
2018-01-27 02:36:15
4107
原创 记一次京东数据产品经理面试
职位详情1. 数学，统计学相关专业优先；硕士以上优先；2. 熟悉零售行业，有自己的“业务分析方法”和“独立的视角”；3. 能够从数据中还原业务场景，拥有较强的解释力；4. 数据建模 能力职责1. “无人超市”数据运营支撑：用数据指导选址，营销，选品，定价，货品排面；2. 线上线下数据融合，发现新的业务价值点面试经过昨天我进行了一次京东物流数据产品经理的电面，我是...
2018-01-25 03:46:58
20200
3
原创 Mac OS X 上搭建 Hadoop 开发环境指南
Hadoop 的配置有些麻烦，目前没有一键配置的功能，虽然当时我在安装过程中也参考了有关教程，但还是遇到了很多坑，一些老版本的安装过程已不适用于 hadoop2.x，下面就介绍一下具体步骤。安装 Java因为之后使用 Hadoop 需要运行 jar 包，所以 Java 环境是必须的，这里不作赘述，相信大多数学习 Hadoop 的小伙伴计算机上都早已经搭好 Java 环境。下载 H...
2018-01-20 10:52:09
4788
1
原创 Hadoop 的核心（1）—— HDFS
首先来看看Hadoop 是什么？Hadoop 是一个开源的大数据框架 Hadoop是一个分布式计算的解决方案 Hadoop = HDFS（分布式文件系统）+ MapReduce（分布式计算）Hadoop 的两个核心：HDFS 分布式文件系统：存储是大数据技术的基础 MapReduce 编程模型：分布式计算是大数据应用的解决方案先来介绍第一个核心 —— HDFS，它有三个特点：...
2018-01-18 02:12:51
1095
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人