Hadoop
TerryWater
不知道自己什么时候会死,不知道什么是神仙,不知道什么是佛,只知道自己现在活着,那么,就做活着的事情,做人的事情,快乐和痛苦都是做人的享受!
很不喜欢人间那深深的夜晚,令人心乱的孤寂!那么,在夜晚和孤寂的时候我就写博客!!
展开
-
链接
http://10.10.10.252:8088/clusterhttp://10.10.10.252:8042/nodehttp://10.10.10.252:50070 http://10.10.10.252:50075/dataNodeHome.jsphttp://10.10.10.252:50090/status.html原创 2015-11-21 15:41:38 · 439 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
MapReduce:详解Shuffle过程转载地址:http://my.oschina.net/u/2003855/blog/310301?fromerr=w07mZ0FKShuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅转载 2016-03-18 16:16:33 · 332 阅读 · 0 评论 -
hadoop 2.6 的安装,调试,Yarn ,调用系统的 在Yarn框架下的 mapreduce 例子
折腾了好久,终于搞定hadoop 2.6 在yarn框架下运行系统给予的一个mapreduce例子成功中间报了很多错,折腾了2,3天。参考:http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/#https://hadoop.apache.org/docs/r2.6.0/hadoop-project-di原创 2015-11-26 14:28:19 · 1638 阅读 · 0 评论 -
ssh localhost
ssh localhostadduser hadooppasswd hadoopsu - hadoopssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keysssh localhostexit原创 2015-11-26 12:00:58 · 802 阅读 · 0 评论 -
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/原创 2015-11-24 10:11:48 · 590 阅读 · 0 评论 -
hadoop php mapreduce
hadoop 2.6.01. /home/hadoop/mapper.php#!/usr/bin/php<?php $word2count = array(); // input comes from STDIN (standard input)while (($line = fgets(STDIN)) !== false) { // remove leadi原创 2015-11-23 16:13:24 · 527 阅读 · 0 评论 -
数据库 大数据
百万级的数据,无论侧重OLTP还是OLAP,当然就是MySql了。过亿级的数据,侧重OLTP可以继续Mysql,侧重OLAP,就要分场景考虑了。实时计算场景:强调实时性,常用于实时性要求较高的地方,可以选择Storm;批处理计算场景:强调批处理,常用于数据挖掘、分析,可以选择Hadoop;实时查询场景:强调查询实时响应,常用于把DB里的数据转化索引文件,通过搜索引擎来查询,可以原创 2015-11-22 21:24:28 · 1752 阅读 · 0 评论 -
资料
hadoop是大数据分析的完整生态系统,从数据采集,存储,分析,转运,再到页面展示,构成了整个流程采集可以用flume,存储用hbase,hdfs,mangodb就相当于hbase,分析用Mapreduce自己写算法,还有hive做数据仓库,pig做数据流处理,转储方面有sqoop,可以将hdfs中的数据转换存储到mysql,oracle等传统数据库,这就构成了一整套大数据分析的整个流程2,m原创 2015-11-23 08:47:49 · 377 阅读 · 0 评论 -
LISP
LISP是一种通用高级计算机程序语言,长期以来垄断人工智能领域的应用。LISP作为因应人工智能而设计的语言,是第一个函数式程序设计语言,有别于C、Fortran等命令式程序设计语言和Java、C#等面向对象语言。LISP名称源自列表处理(LISt Processing)的英语缩写,由来自麻省理工学院的人工智能研究先驱约翰·麦卡锡(John McCarthy)在1958年基于λ演算所创造,采转载 2015-11-21 17:26:44 · 421 阅读 · 0 评论 -
hadoop集群,如何运行Java jar包---如何运行mapreduce程序
http://www.aboutyun.com/thread-7408-1-1.htmlhadoop集群运行mapreduce有两种方式:1.一种是打包,在hadoop集群运行2.一种是开发环境运行。下面详细讲一下:1.一种是打包,在hadoop集群运行首先我们要打包程序,打包具体可以参考(hadoop编程:解决eclipse能运行,打包放到集群上ClassNotFou转载 2016-04-09 12:18:52 · 11700 阅读 · 0 评论