- 博客(42)
- 资源 (50)
- 收藏
- 关注
RSS订阅原创 Hadoop2.2.0 mapreduce 例子
1wordcountimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;impor
2014-02-27 20:34:40
5988
5
原创 从hadoop2.2，HBase0.96 mapreduce操作
从hadoop取出文件写入hbase表中package example2;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyVa
2014-02-27 13:51:34
2830
1
转载 hbase-0.96.x相对hbase-0.94.x的改变
环境：hadoop:hadoop-2.2.0hbase:hbase-0.96.01.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put类不再继承Writable类 0.94.6时public class Put extends Mutation implements HeapSize, Wr
2014-02-27 12:28:36
6279
原创 HBase rest 和thrift java例子
package example2;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.rest.client.Client;import org.apache.hadoop.hbase.rest.clien
2014-02-26 15:27:44
5307
转载 liunx用户组管理
一．组管理1. 添加用户组groupadd 2. 删除用户组groupdel 3. 修改用户组groupmod 4. 切换用户组newgrp 如果一个用户同时属于多个用户组，可以用 newgrp 命令切换至目的组，以便能够拥有该组的权限。 5. 查看所有组所有组其实就是 /etc
2014-02-25 19:16:08
770
原创 编译hadoop eclipse 2.x插件
代码下载地址；https://github.com/winghc/hadoop2x-eclipse-plugin.git$cd src/contrib/eclipse-plugin$ant jar -Dversion=2.3.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoopfina
2014-02-25 17:12:56
2438
2
原创 hbase client api 例子-2
package example;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTabl
2014-02-25 15:19:18
1362
原创 HBase client api例子集合-1
import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Delete;import
2014-02-24 12:14:58
2879
转载 yarn 日志聚集配置
. 日志聚集相关配置参数日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。（1） yarn.log-aggregation-enable
2014-02-21 16:54:23
9174
1
转载 Hue安装
Table of Contents1. Introduction2. Hue Installation Instructions2.1. Install Hue2.2. Install Hadoop from CDH2.3. Hadoop Configuration2.4. Further Hadoop Configuration and Caveats2.5.
2014-02-21 11:59:12
10589
1
转载 Hadoop监测工具——Splunk安装与使用
Splunk对于各种日志的监测非常好用，个人感觉它与Ganglia的最大不同点在于：Ganglia只是采集实时的数据并显示，不会对这些数据进行存储和备份，但是Splunk会将监测到的数据进行存储，并对这些数据进行有效的索引。另外，Splunk对于日志数据的分析功能也十分强大，它支持对于日志信息的检索，它定义了一种类似SQL语句的查询语法，能够针对日志数据中的不同字段进行查询。当然，你可以根据需要认
2014-02-21 10:36:39
8569
1
转载 ambari安装
1.安装JDK（可选）2.安装Ambari2.1配置Ambari的yum repocd /etc/yum.repos.d/ wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.4.1.25/ambari.repo2.2安装Ambari Server在Server节点安装Amba
2014-02-20 13:30:00
6435
1
转载 centos集群上安装ganglia-3.6.0监控hadoop-2.2.0和hbase-0.96.0
Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的
2014-02-19 16:18:49
1846
转载 drill安装与部署
安装系统环境linux版本：redhat6jdk:jdk1.71.本地安装与测试1.1安装1.1.1下载Drill M1 binary release http://people.apache.org/~jacques/apache-drill-1.0.0-m1.rc3/apache-drill-1.0.0-m1-binary-release
2014-02-17 16:12:53
3607
转载 Apache Drill源码分析和编译
此前了解过Apache Drill的设计原理，借鉴与Google的Dremel的一个开源实现；而cloudera貌似在此基础上构造了impala.最近从apache官网上看到Drill源码可以下载了，分析一下。http://www.apache.org/dyn/closer.cgi/incubator/drill/drill-1.0.0-m1-incubating/代码结构
2014-02-16 21:27:45
4877
1
转载 Impala1.1.1 安装使用
一、介绍Impala 号称在性能上比Hive高出3~30倍，甚至预言说在将来的某一天可能会超过Hive的使用率而成为Hadoop上最流行的实时计算平台。Impala的三个组件说明：impalad ：Implala的后台进程，需要安装在每一台数据节点上statestored：用于协调各个运行impalad的实例之间的信息关系。选择集群中一个节点安装.impala-
2014-02-16 20:43:47
3133
1
转载 carrandra安装
器1和机器2作为seed_providerjava jdk已经安装并且设置过JAVA_HOMEssh已经设置1.解压 apache-cassandra-1.0.6-bin.tar.gz 到/usr/cassandra 目录设置CASSANDRA_HOME,打开profile文件命令：vim /etc/profile设置如下： JAVA_HOME=/usr/java
2014-02-16 17:21:15
752
转载 cassandra命令
首先使用cassandra-cli 进入命令行：$ bin/cassandra-cli -host 192.168.0.1011.创建keyspaceCREATE KEYSPACE usertable with placement_strategy = 'org.apache.cassandra.locator.SimpleStrategy' and strategy_options
2014-02-16 17:17:00
2926
转载 RHive
安装RHiveinstall.packages("RHive")library(RHive)Loading required package: rJavaLoading required package: RserveThis is RHive 0.0-7. For overview type ‘?RHive’.HIVE_HOME=/home/conan/hadoop/hive-0
2014-02-15 17:06:48
2430
转载 R实现MapReduce的协同过滤算法
由于rmr2的对hadoop操作有一些特殊性，代码实现有一定难度。需要深入学习的同学，请多尝试并思考key/value值的设计。本文难度为中高级。第三篇 R实现MapReduce的协同过滤算法，分为3个章节。1.基于物品推荐的协同过滤算法介绍2.R本地程序实现3.R基于Hadoop分步式程序实现每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代
2014-02-15 16:49:49
2480
转载 RHbase 命令
rhbase的相关函数：hb.compact.table hb.describe.table hb.insert hb.regions.tablehb.defaults hb.get hb.insert.data.frame hb.scanhb.delete hb.get.
2014-02-15 16:03:43
1615
转载 RHadoop安装
*实验环境：*********************************************************************************hadoop集群（virtualBox虚拟机，CentOS6.4）hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaste
2014-02-15 13:32:16
5173
2
转载 flume 1.4 安装
flume-ng 1.4的安装flume-ng是一个分布式、高可靠和高效的日志收集系统，具体说明参看flume-ng使用指南：http://blog.csdn.net/zhu_xun/article/details/16859645flume-ng是flume的新版本的意思，其中“ng”意为new generate(新一代)，目前来说，flume-ng 1.4是最新的版本1
2014-02-14 16:23:10
5077
转载 storm 命令
Storm命令简介 提交Topologies命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop#提交storm-starter.jar到远程集群，并启动wordc
2014-02-14 15:42:52
4149
转载 storm 0.9安装
安装Storm1. 下载Storm，选择一个0.9版本，解压到指定目录（所有机器）。http://storm-project.net/downloads.html 2. 将Storm/bin加入到$PATH中，编辑/etc/profile加入export PATH=$STORM_HOME/bin:$PATH使生效 $source /
2014-02-14 15:38:41
2277
转载 shark 安装
本文介绍在计算机集群上如何启动和运行Shark。如果对Amazon EC2上运行Shark感兴趣，请点击这里查看如何使用EC2脚本快速启动预先配置好的集群。依赖：注意：Shark是一个即插即用的工具，所以可以在现有的Hive数据仓库之上运行，不需要您对现有的部署做出任何修改。在集群上运行Shark需要一下几个外部组件：Scala 2.9.3Spark 0.7.2兼容
2014-02-14 11:28:24
4024
1
转载 spark 安装
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。1. 安装 JDK 1.7yum search openjdk-develsudo yum insta
2014-02-13 23:25:48
19675
5
转载 scala 开发spark程序
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark
2014-02-13 15:44:57
4830
转载 kafka java示例
我使用的kafka版本是：0.7.2jdk版本是：1.6.0_20http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整，以下代码是经过我补充的并且编译后能运行的。Producer Code[java] view plaincopyimport java
2014-02-13 14:34:23
41990
8
转载 kafka 安装
下载了最新的版本0.8.0 Beta1 Release下载地址：https://dist.apache.org/repos/dist/release/kafka/kafka-0.8.0-beta1-src.tgz 一、安装# tar xzvf kafka-0.8.0-beta1-src.tgz# cd kafka-0.8.0-beta1-src# ./sbt u
2014-02-13 13:57:57
7168
转载 HiveQL详解
HiveQL详解HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于Hadoop云平台这一特性决定的, 但其有些特点是SQL所无法企及的。例如多表查询、支持create table as select和集成MapReduce脚本等, 本节
2014-02-13 09:45:05
1122
转载 pig 安装
Pig的安装Pig作为客户端程序运行，即使你准备在Hadoop集群上使用Pig，你也不需要在集群上做任何安装。Pig从本地提交作业，并和Hadoop进行交互。1）下载Pig前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的版本，比如Pig 0.12.02）解压文件到合适的目录tar –xzf pig-0.12.03）设置环境变量
2014-02-11 15:39:00
916
1
转载 忘记mysql root 密码怎么办
方法一： # /etc/init.d/mysqld stop # mysqld_safe --user=mysql --skip-grant-tables --skip-networking & # mysql -u root mysql mysql> UPDATE user SET Password=PASSWORD(’newpassword’) where US
2014-02-11 10:40:10
648
转载 hbase 安装
一、安装zookeeper在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.5。$ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz $ tar -xf zookeeper-3.4
2014-02-10 16:55:56
2386
转载 zookeeper安装
Zookper是一种分布式的，开源的，应用于分布式应用的协作服务。它提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。 网上有很多的安装教程，有些确实很不错，但总有一些比较坑的，误导了大家的安装，这次把自己亲身经历，安装的步骤和在安装中遇到的一些问题发布出来，供大家共同学习。首先，当然是下载zookeeper的安装包。下载地址：htt
2014-02-10 16:31:56
768
转载 java 访问hdfs
读数据使用hadoop url读取比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流，不过在这之前先要预先调用它的setURLStreamHandlerFactory方法设置为FsUrlStreamHandlerFactory（由此工厂取解析hdfs协议），这个方法只能调用一次，所以要写在静态块中。然后调用IOUtils类的copyBytes将hdfs数据流拷贝到标
2014-02-10 15:24:54
836
1
转载 hive函数参考手册
hive函数参考手册博客分类： hive nosql 官方定义见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相
2014-02-10 14:07:56
731
转载 Apache Pig的一些基础概念及用法总结
转载必须注明出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及
2014-02-10 13:58:48
3617
转载 hbase java api操作
HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java api。常用的API操作有： 1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。 2、 插入数据 创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等
2014-02-10 13:35:38
4095
together 2008 sp1 uml 006
2010-02-26
together 2008 sp1 uml 002
2010-02-26
extjs开发工具 语法提示
2010-02-07
餐饮业管理软件需求分析文档
2011-07-06
web service 接口文档
2011-06-24
ssh rest ws jax-rs jersey 做的小网站后台及web service接口
2011-05-10
微博struts2 spring hibrnate实现
2011-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人