hadoop
文章平均质量分 71
山鹰的天空
追求漂亮的技术,让用户有最好的体验。
展开
-
Windows平台下安装Hadoop
Windows平台下安装Hadoop 1、安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。2、安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要转载 2015-07-20 17:28:19 · 726 阅读 · 0 评论 -
hadoop集群环境的搭建
今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了。集群信息如下:主机名Hadoop角色Hadoop jps命令结果Hadoop用户Hadoop安装目录masterMasterslavesNameNodeDat转载 2016-09-01 11:49:06 · 431 阅读 · 0 评论 -
hadoop集群安装与配置--c#调用hive的thrift服务
1.在hadoop.client上开始运行hive的thrift服务,命令如下bin/hive --service hiveserver2.通过NuGet安装hive的c#客户端,项目地址如下https://bitbucket.org/vadim/hive-sharp/3.c#调用服务demo代码int port = 10000;//注意hadoop.client服原创 2016-08-10 14:26:54 · 852 阅读 · 0 评论 -
HIVE和HBASE区别
HIVE和HBASE区别1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。转载 2016-07-19 14:22:03 · 510 阅读 · 0 评论 -
安装hadoop和hive时候遇到的问题及解决方法
#-----------------------------------------------------------------# 安装JDK1. 查看并卸载Linux自带的JDK安装好的CentOS会自带OpenJdk,用命令 java -version ,会有下面的信息:java version "1.6.0" OpenJDK Runtime Environment (原创 2016-07-07 17:11:27 · 2146 阅读 · 0 评论 -
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
异常描述在对HDFS格式化,执行Hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示:[plain] view plain copy [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_原创 2016-07-07 16:10:54 · 2902 阅读 · 0 评论 -
Hive的sql语句
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQ转载 2016-06-27 16:38:42 · 2996 阅读 · 0 评论 -
C# Hadoop
一、安装环境1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本;2,利用NuGet下载Hadoop For .NET SDK,地址“http://hadoopsdk.codeplex.com/”3,安装。4,通过HDInsight,安装Windows Azure,目前是预览版本。5,参照网址“http://blogs.msdn原创 2016-04-07 15:48:26 · 3104 阅读 · 0 评论 -
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
1、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 package com.wujintao.hbas原创 2016-02-24 16:57:32 · 630 阅读 · 0 评论 -
Hbase
Hbase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,也就是说HBase能够利用HDFS的分布式处理模式,并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势,HBase本身就是十分强大的数据库,它能够融合key/value存储模式带来实时查询的能力,以及通过MapReduce进转载 2015-12-02 13:48:02 · 717 阅读 · 0 评论 -
hadoop集群环境的搭建
hadoop集群环境的搭建 今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了。集群信息如下:主机名Hadoop角色Hadoop jps命令结果Hadoop用户Hadoop安装目录masterMaster转载 2016-09-13 16:08:56 · 529 阅读 · 0 评论