2016年09月_虎纠卫

12月 11月 10月 09月 08月 07月 06月

原创 CDH5实践（四）Cloudera Manager 5安装中碰到的一些问题和解决办法

问题一：安装过程中会出现失败，查看detail信息中，提示 host 无法连接解决：前面的文章中漏了对主机host的一个修改，除了修改 /etc/hosts 文件外，我们还需要修改修改 /etc/sysconfig/network 文件，并且需要重启才能生效。问题二：CDH5 安装中，hive和monitor host 都需要数据库，除了postgresql外，是否可以

2016-09-21 22:35:09 10947

原创 hive 实践（二）：hive基本原理

Hive基本原理 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive将元数据存储

2016-09-21 09:05:38 900

原创 hive 实践（一）：部署和安装

一，目标1、部署hive二、前提条件1、环境为centos 6.52、已经部署了hadoop伪分布式3、安装了hbase4、安装了mysql 5.6.33三、部署步骤1、下载安装包下载hive http://mirrors.hust.edu.cn/apache/ 得到apache-hive-1.1.0.tar.gz ，放到该目录下 /home/soft/h

2016-09-20 13:47:10 538

原创 Mysql实践（二）一些常见问题处理

Mysql的一些常见问题处理

2016-09-20 10:54:24 1223

转载 CDH5实践（三）Cloudera Manager 5卸载步骤

Cloudera Manager 5卸载步骤转自http://www.jianshu.com/p/d3d5751e7ec5

2016-09-19 21:52:50 10518

原创 Mysql 实践（一）：部署和安装

1、目标卸载centos自带的mysql 安装mysql 5.6.332、步骤 1）下载mysql，下载地址 http://dev.mysql.com/downloads/mysql/5.6.html#downloads 我们下载，这些包 MySQL-client-5.6.33-1.lin...

2016-09-18 22:05:46 958

原创 Redis实践（一）：安装和部署

memcache,redis,mongodb 是目前常用的内存数据库。他们应用的场景大致如下：redis：数据量较小的更性能操作和运算上memcache：用于在动态系统中减少数据库负载，提升性能;做缓存，提高性能（适合读多写少，对于数据量比较大，可以采用sharding）MongoDB:主要解决海量数据的访问效率问题本章开始介绍redis实践的过程，只有经过自己的实践才能成为自己的

2016-09-12 22:55:55 1067

转载 VM虚拟机中Linux扩展磁盘空间的方法

本人转自博客：http://blog.csdn.net/liangliangdetianxia/article/details/37527767一、Vm虚拟机下Linux扩展原有磁盘空间，详细步骤如下：需注意以下几点： linux只能扩展磁盘容量而不能减小，所填写的容量为总容量，即包含已分区的磁盘，扩展容量时不能有快照哟，大家可以先把快照删除掉。

2016-09-12 14:18:26 630

转载 CDH5实践（二）Cloudera Manager 5安装Hive,HBase,Impala,Spark等服务

转载自博客：http://blog.csdn.net/yangzhaohui168/article/details/33403555Apache Hadoop的服务的部署比较繁琐，需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Clou

2016-09-11 21:47:50 6649

转载 CDH5实践（一）本地Yum软件源安装Cloudera Manager 5

以下内容转自博文：http://blog.csdn.net/yangzhaohui168/article/details/30118175Cloudera Manager 5（以下简称CM）默认采用在线安装的方式，给不能联互联网或者网络不畅的用户带来了不便，由于网络问题，屡装屡败的挫折感，让初次学习CDH用户真心体验到万事开头难。本文讲解了在CentOS 6环境下搭建本地Yum

2016-09-11 21:12:32 7160 1

原创 kafka实践（四）：kafka使用之中的一些关注点

预占位本章将针对这些关注点进行一些实践1、同步和异步发送2、分区、组概念3、系统自动负载分担机制4、人为指定负载分担5、自身的局限有哪些6、主要的应用场景

2016-09-07 09:15:11 1057

原创 Kafka实践（三） java开发环境搭建

前面已经部署好了Kafka集群（伪分布式），下面要进入java开发环境搭建。一、环境描述 1、win10下 eclipse （kepler） 2、本机建立了虚拟机系统： centos 6.5 ip：192.168.136.134 3、在134上部署了zookeeper 伪分布式部署 192.168.136.134:2181,192.16

2016-09-06 14:21:13 14261 3

转载 Maven实践（三）：eclipse配置maven + 创建maven项目

转自 http://blog.csdn.net/gebitan505/article/details/46234359上篇博文中我们介绍了maven下载、安装和配置（二），这篇博文我们配置一下eclipse，将它和maven结合，并我们创建一个maven的项目。准备工作在eclipse配置maven之前需要我们做好准备工作，如下： 1. 安装jdk 2. 已安

2016-09-05 11:27:43 638