2017年09月_C_FuL

原创项目使用Dubbo实现解耦和

代码准备本次作者建立了一个小Demo来说明如何使用Dubbo实现解耦和的项目部署方式作者使用的开发工具是idea,大家也可以使用eclipse或者myeclipse. 首先使用idea创建一个maven项目, 其中包括了5个子模块,分别是 - dao - daoimpl - service - serviceimpl - web 项目结构如下图,请原谅画的比较…..(额..抽

2017-09-25 11:45:43 2335

原创 MapReducu操作HBase

1.创建项目作者使用的开发工具是idea，也可以使用eclipse、myeclipse或其它工具，创建一个maven项目1.pom.xml 配置如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org

2017-09-25 09:35:13 471

一、Shell 操作使用如下命令进入hbase 的shell 客户端，输入quit或exit退出$ hbase shell查看hbase 所有命令$ help如果忘记了命令如何使用，使用help ‘命令’查看帮助文档，如下hbase(main):048:0> help 'list'List all tables in hbase. Optional regular expression param

2017-09-25 09:32:44 1566

原创 Jedis操作Redis模型

对于外部程序,想要访问Redis首先需要对Redis进行两个设置在Redis配置文件redis.conf中配置如下1. 注释掉bang 127.0.0.1，否则只能本机访问 2. 关闭redis的保护模式不推荐使用new jedis这样的操作,因为操作一次都要对redis进行远程访问,会大量的消耗资源推荐使用连接池,其中有三个非常重要的类JedisPoolConfig：设置和读取配置文件

2017-09-23 21:53:50 360

原创 Shuffle详解

Shuffle过程是MapReduce的核心。Shuffle的意思是洗牌或者打乱，会使用Java的同学应该见过Java API里面的Collections.shuffle(list)方法，它会随机地打乱参数list里面的元素顺序。如果读者不知道MapReduce里面的Shuffle是什么，请看下图 Shuffle差不多就是从MapTask输出到ReduceTask输入的这一过程。在真实

2017-09-16 22:46:28 1756

原创 HUE安装与配置

准备软件包准备 HUE官方网站 HUE官方帮助手册已安装的分布式框架例如Hadoop 以及其它需要与HUE集成的软件需要的依赖$ yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite

2017-09-09 12:16:56 6904

原创 Lua构建及安装

前言lua源码Lua官网下载地址注意:在~/lua-5.3.x/doc目录下有一个叫readme.html为官方帮助文档在使用源码编译的时候,需要一个依赖readline-devel使用如下命令安装$ sudo yum instal readline-devel安装根据安装平台的类型lua官方提供了如下几种 aix bsd c89 freebsd generic linux ma

2017-09-09 11:55:13 542

原创 Sqoop-Shell命令参数详解

前言此文章为作者查看Sqoop官方网站整理归纳加入了部分个人见解. 顺便附上:Sqoop官方帮助手册显示(Show) function 描述可选参数 server 连接到sqoop服务器的信息 -a -h -p -w option 各种客户端选项 -n version 客户端构建版本 -a -c -s -p connector 连接器相关

2017-09-02 21:05:18 2144

原创 Sqoop安装及初体验

前言文章中所有的路径,均是演示所用. 实际情况请自行斟酌首先介绍一下什么是Sqoop Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系

2017-09-02 13:25:21 1003 1

C_FuL的博客