- 博客(19)
- 收藏
- 关注
RSS订阅原创 Hbase 原理 及其安装
Hbase 基本原理Hbase?HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它存储的是松散型数据，具体来说，HBase存储的数据介于映射（key/value）和关系型数据之间。同时利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群.Hbase是Google Bigtable的开源实现，类似Go
2016-11-27 10:02:50
524
原创 基于Hadoop的数据仓库Hive 学习指南
一、Hive简介Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。Hive是一个可以提供有效的、合理的且直观的组织和使用数据的模型，即使对于经验丰富的Java开发工程师来说，将这些常见的数据运算对应到底层的MapReduce Java
2016-11-24 08:40:16
1500
转载 Hadoop 第七课 从wordCount 看ＭapReduce模型
MapReduce 原理MapReduce 模型的精髓在于它的算法思想——分治。对于分治的过程可以参见我之前的一篇博客《大数据算法：对5亿数据进行排序》。还有就是可以去学习一下排序算法中的归并排序，在这个排序算法中就是基于分治思想的。 回归正题，在 MapReduce 模型中，可以把分治的这一概念表现得淋漓尽致。在处理大量数据的时候（比如说 1 TB，你别说没有这么多的数据，大公司这点
2016-11-20 22:35:13
388
原创 hadoop2.7.3的ftp over hdfs搭建:
1 环境准备1.1 ubuntu16.041.2 hadoop 2.7.3安装见:http://blog.csdn.net/tengxing007/article/details/531686481.3 IDE自选1.4 maven 3.3.9没有的话下载一个就好2 核心软件 2.1 《hdfs-over-ftp》 用于沟通
2016-11-20 15:37:13
4423
原创 Hadoop 第六课 WebHDFS REST API
说明：WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTP GET，其它的像CREAT、MKDIRS、RENAME、SETPERMISSION是依赖于HTTP PUT类型。APPEND操作时基于HTTP POST类型，然而，DELETE是使用HTTP DELETE。1$ curl
2016-11-19 09:46:44
1907
原创 hadoop 安装 运行错误大集合
1：报错：Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectExceptionCall to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException使用j
2016-11-18 12:39:32
609
原创 ubuntu ssh 远程登录及其免登录
一 环境准备1 ubuntu 系统 2有网二 安装并验证1 安装 $ sudo apt-get install ssh2 验证 $ ssh -VOpenSSH_7.2p2 Ubuntu-4ubuntu2.1, OpenSSL 1.0.2g 1 Mar 2016到此安装已经完成三 远程登录 及其传文件1 登录 $ ssh root@192.1
2016-11-17 22:31:31
1344
原创 Hadoop 第五课 几个文件搞定HDFS常用的Java Api
一、使用Hadoop URL读取数据“` package online.tengxing.hdfs;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils;import java.io.IOException; import java.io.InputStream;
2016-11-17 21:42:51
685
原创 Hadoop 第四课 hdfs 结构以及基本操作
1HDFS结构1.1体系结构 - HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanode组成。 - Namenode是一个中心服务器，负责管理文件系统的命名空间和客户端对文件的访问。 - Namenode执行文件系统的命名空间操作，例如打开、关闭、重命名文件和目录，同时决定block到具体 - Datanode负责处理文件系统的
2016-11-17 21:27:55
642
原创 Hadoop 第三课 wordcount 统计
1使用hadoop下面自带的例子在hadoop根目录下$mkdir input$mkdir output$cp ~/aa.txt $HADOOP_HOME/input/$ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.*.3.jar wordcount input output$cat output/*
2016-11-17 21:26:30
520
转载 ubuntu16.04更换为国内源
转于:http://blog.csdn.net/qq_33746131/article/details/52966547ubuntu图形界面配置新手推荐使用图形界面配置： 系统设置 -> 软件和更新 选择下载服务器 -> "mirrors.aliyun.com"手动更改用你熟悉的编辑器打开：/etc/apt/sources.list替换默认的http://archive.ubuntu....
2016-11-15 10:41:06
16291
原创 Hadoop 第二课 Hadoop2.7.3集群搭建
说明:搭建平台为ubuntu16.04 (为什么在Ubuntu 上，请看hadoop第一课) 一:环境准备(必备) 1:jdk oracle 我使用的是java version “1.8.0_101” 没有的话,$ wget http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111
2016-11-15 10:16:29
1070
1
原创 Hadoop 第一课 了解hadoop
hadoop:大数据的分析管理工具之一。官网：http://hadoop.apache.org/Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数
2016-11-15 09:10:30
501
转载 java常用的框架介绍
http://blog.csdn.net/evankaka/article/details/45501811Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，Spring Web MVC也是要简化我们日
2016-11-09 18:18:15
362
原创 spring aop 中切面表达式规则
spring AOP 可以通过两中方式配置： ①注解 (很简单) ②xml文件配置 这里通过说的通过xml 配置中的切面表达式
2016-11-06 14:12:11
4432
1
原创 Ubuntu tomcat8 启动脚本(最简化)
$:sudo vi /etc/init.d/tomcat8 添加如下：#!/bin/sh# description: Auto-starts tomcat# processname: tomcatcase $1 instart)sh $HOME/JAVA-Development/SERVER/apache-tomcat-8.0.36/bin/startup.sh
2016-11-05 13:04:24
1842
原创 MySQL5.7 group by，报错1055
mysql> select @@sql_mode;+-------------------------------------------------------------------------------------------------------------------------------------------+| @@sql_mode
2016-11-05 12:28:05
1590
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人