2016年06月_CrazyL-

12月 11月 10月 09月 08月 07月 06月 03月 02月 01月

转载 hadoop 伪分布式start-all之后datanode丢失

解决参考： http://blog.csdn.net/hackerwin7/article/details/199730453.问题原因：是由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致，从而导致namenode和 datanode的断连。（因为在多次format中有 reform

2016-06-30 21:48:00 1084

转载 hadoop之wordcount

windows 环境下Eclipse开发MapReduce环境设置 http://my.oschina.net/u/999578/blog/180343new 一个map/reduce project new一个class WordCount 从Hadoop1.2.1中: 路径hadoop-1.2.1\src\examples\org\apache\hadoop\examples c

2016-06-29 22:41:30 324

原创 eclipse安装hadoop插件

解压hadoop1.2.1.tar.gz 在文件夹hadoop1.2.1/src/contrib/eclipse-plugin下里面存放的是插件的源码，就是一个java项目，打包导入不想打的话自己找jar包 hadoop-eclipse-plugin-1.2.1.jar

2016-06-29 20:33:27 609

原创 mapreduce的架构

一主多从结构主jobtracker（1.x版本有）负责调度分配每一个子任务task运行于tasktracker上，如果发现有失败的task就重新分配到其他任务节点上，每一个hadoop集群中只有一个jobtracker。从tasktracker tasktracker主动与jobtracker通信，接收作业，并负责直接执行每一个任务，为了减少网络带宽，tasktracker最好运行于H

2016-06-29 20:15:39 411

原创 hadoop计算框架shuffler

在mapper和reducer中间的一个步骤 partition，把数据分成一个个区，可以通过程序自定义分区，也可以使用默认的分区，默认规则为哈希模运算，把一个整数模reduce的个数。分区是为了把map的输出数据进行负载均衡，或者解决数据倾斜的问题（节点计算的数据量不均衡，就倾斜）。默认reduce为1，数据量多的时候，reduce为多个。作用是把map的数据分区成一个个reduce区域。

2016-06-29 19:46:19 900

转载 Hadoop核心MapReduce

Hadoop分布式计算框架MapReduce Mapreduce设计理念，分布式计算，移动计算，不移动数据MapReduce框架详解： http://blog.jobbole.com/84089/ 上图可以统计一个很大的文件中单词出现的次数

2016-06-29 19:09:27 384

转载 hadoop1.2.1伪分布式安装

下载hadoop1.2.1.tar.gz 文档：http://hadoop.apache.org/docs/r1.2.1/Pseudo-Distributed Operation Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separ

2016-06-28 22:23:46 298

原创 hadoop入门

量大核心设计： mapreduce：map：任务的分解reduce：任务的汇总HDFS：namenode datanode client大数据VS传统数据关系型数据库适合复杂的需要事务处理的应用MPP和hadoop 数据仓库和离线数据分析大规模在线实时应用子项目： core： HDFS：分布式文件系统 Mapreduce： zookeeper：分布式系统系统

2016-06-28 21:43:06 560

翻译 kettle读文件

读一个简单的txt文件输入——》文本文件输入新建文本文件test.txt内容为： “lastname”,”firstname”,”country”,”birthyear” “Larsson”,”Stieg”,”Swedish”,1954 “King”,”Stephen”,”American”,1947 “Hiaasen”,”Carl “,”American”,1953 “Han

2016-06-28 21:03:39 5176 2

转载 Ubuntu 14.04快速搭建SVN服务器及日常使用

转载自：http://www.linuxidc.com/Linux/2015-05/117735.htm#0-tsina-1-18268-397232819ff9a47a7b7e80a40613cfe11、介绍 Subversion是一个自由，开源的版本控制系统，这个版本库就像一个普通的文件服务器，不同的是，它可以记录每一次文件和目录的修改情况。这样就可以很方面恢复到以前的版本，并可以查看数据

2016-06-27 16:49:32 630

转载 maven创建java web项目

转载：http://www.yiibai.com/maven/maven_web_application.htmlC:MVN>mvn archetype:generate -DgroupId=com.companyname.automobile -DartifactId=trucks -DarchetypeArtifactId=maven-archetype-webapp -Dinte

2016-06-27 11:48:01 365

转载 maven创建java项目

转载：http://www.yiibai.com/maven/maven_creating_project.htmlMaven使用 archetype 来创建项目。要创建一个简单的 Java 应用程序，我们使用 maven-archetype-quickstart 插件C:MVN>mvn archetype:generate -DgroupId=com.companyname.bank -Da

2016-06-27 11:30:27 249

转载 linux环境下新建weblogic域

http://blog.sina.com.cn/s/blog_7014ad5c0102uwr4.html[root@ladb2 bin]#/oracle/middleware/wlserver_12.1/common/bin [root@ladb2 bin]# ./config.sh -mode=console

2016-06-24 21:58:14 490

原创 ubuntu安装weblogic12c

下载安装包 wls1211_generic.jar执行命令 java -jar wls1211_generic.jar -mode=console mode=console表示使用控制台安装，不加的话使用图形界面安装按提示步骤一步一步安装 ……

2016-06-24 21:50:23 520

转载 Ubuntu安装mysql5.7

oracle官网下载mysql的deb-bundle.tar解压tar包，按顺序安装 mysql-common_5.7.13-1ubuntu16.04_amd64.deb mysql-community-client_5.7.13-1ubuntu16.04_amd64.deb mysql-client_5.7.13-1ubuntu16.04_amd64.deb mysql-commu

2016-06-24 21:18:38 4834

原创 kettle数据库应用

获取数据新建转换核心对象——>输入——>表输入可以对获取的SQL语句进行必要的操作。使用参数从数据库获取数据 Data Grid设置参数使用问号作为变量占位符，从步骤插入数据选择上一步传入的变量，data grid有多行数据时选择执行每一行可以获取到一个数据集打印的日志如下：运行时通过查询语句从数据库获取数据从打印的日志可以看到输

2016-06-23 22:53:48 437