2015年10月_me_lawrence

转载 Kafka+Spark Streaming+Redis实时计算整合实践

x

2015-10-30 16:42:02 1348 1

转载 ZooKeeper典型应用场景一览

http://www.coder4.com/archives/3856这篇文章写的非常贴近实际，比官方好！ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的

2015-10-30 11:34:30 502

原创 hadoop生态系统组件目前的理解（先记录，有些地方理解不正确，后面修改）

一，yarnResourceManager、Nodemanager、App Master。ResourceManager拿到任务后，根据掌握的各个NodeManager的资源情况，决定在哪些主机上创建App Master。各个App Master与本机的NodeManager申请Container后，在本机运行启动多个map和reduce。二，hdfs

2015-10-30 11:20:21 910

转载 window下连接hadoop集群基础超详细版

http://blog.csdn.net/lifuxiangcaohui/article/details/395001311、Hadoop开发环境简介1.1 Hadoop集群简介　　Java版本：jdk-6u31-linux-i586.bin　　Linux系统：CentOS6.0　　Hadoop版本：hadoop-1.0.0.tar.gz1.

2015-10-29 15:32:12 1486

转载 Windows下使用Hadoop2.6.0-eclipse-plugin插件

http://my.oschina.net/muou/blog/408543摘要经历过痛苦的过程，在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了，本文大部分内容是摘自其余的博客，但是后续也有补充完整自己在整个过程中遇到的其余问题，希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没有经过重新编译，

2015-10-26 19:15:02 1592

原创安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5

一，虚拟机1，vsphere安装在服务器上裸装vSphere6.0.0，在本机windows安装vSphere Client2，ubuntu14.04单节点安装在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后，注意将光驱配置修改为“客户端”配置，之后按enter继续完成ubuntu的安装。进入系统后，修改/etc/network/inter

2015-10-21 19:49:26 6874

转载 Cloudera Manager5之安装部署CDH5.X

http://blog.csdn.net/freedomboy319/article/details/44804721本文章介绍Cloudera Manager的安装以及部署CDH5.X。主要分如下章节介绍。1，安装准备 2，安装Clouder Manager 3，部署CDH5.X1，安装准备 1.1 安装物理部署图物理机硬件信息 2台HP

2015-10-20 16:58:50 2415

转载从输入 URL 到页面加载完成的过程中都发生了什么事情？

http://web.jobbole.com/83720/原文出处：百度FEX/吴多益（@吴多益）欢迎分享原创到伯乐头条背景本文来自于之前我发的一篇微博：不过写这篇文章并不是为了帮大家准备面试，而是想借这道题来介绍计算机和互联网的基础知识，让读者了解它们之间是如何关联起来的。为了便于理解，我将整个过程分为了六个问题来展开。第一个问

2015-10-09 10:47:55 1224

转载验证最小化可行产品 (MVP) 的 15 种方法

http://36kr.com/p/217020.html验证最小化可行产品 (MVP) 的 15 种方法Yves-YAN • 2014/12/01 17:30硅谷创业家 Eric Rise 在其著作《精益创业》一书中提出了 “精益创业”（Lean Startup）的理念，其核心思想是，开发产品时先做出一个简单的原型——最小化可行产品（Minimum Viabl

2015-10-08 10:08:36 1903

转载 10 种机器学习算法的要点（附 Python 和 R 代码）

http://blog.jobbole.com/92021/本文由伯乐在线 - Agatha 翻译，唐尤华校稿。未经许可，禁止转载！英文出处：SUNIL RAY。欢迎加入翻译组。前言谷歌董事长施密特曾说过：虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注，但是这家公司真正的未来在于机器学习，一种让计算机更聪明、更个性化的技术。也许我们生活在人

2015-10-08 09:53:36 5187 1

onlyForCloud的专栏