3.cdh搭建-mysq安装

CDH集群安装 Cloudera Manager 使用数据库来存储cm配置信息、系统健康和任务进度 快捷地、可以在cm安装过程中,安装嵌入的postgresql作为数据库 另外也可以使用自己安装的postgresql、mysql、mariadb或者oracle 版本选择 选择 CDH...

2018-01-17 17:05:59

阅读数 80

评论数 0

2.cdh搭建-Java环境准备

CDH集群搭建 java环境配置 cdh 只支持64位的oracle版本的jdk 5.x.x 支持jdk7 5.3.x 支持jdk8 Only 64 bit JDKs from Oracle are supported. Oracle JDK 7 is ...

2018-01-17 16:56:33

阅读数 110

评论数 0

1.cdh搭建-网络环境准备

CDH集群搭建 基本环境 系统: centos 7 4个节点: master 192.168.1.31 8g 2*4核 60g硬盘 ghome安装 slave1 192.168.1.41 4g 2*2核 40g硬盘 计算节点安装 slave2 19...

2018-01-17 16:55:05

阅读数 148

评论数 0

0.cdh集群安装

CDH的生产部署: 要求 为cloudera manager服务器和hive metastore 先自行安装和配置生产环境的数据库 提供两种安装方式: 使用ClouderaManager Paracles 或者 Packages 安装: 要求安装 oracle j...

2018-01-17 16:51:47

阅读数 79

评论数 0

内网穿透 新利器-网络通

程序员一枚,家里放了一台dell r720 server 想在公司远程访问,真是操碎了心。。。 发现一款新软件: 网络通 网络通永久免费内网端口映射,内网穿透软件,可轻松访问连接内网,100%穿透内网,不需设置路由器,不需公网ip,不需固定ip,不需动态域名,用户可免费添加多个映射,...

2018-01-17 15:57:45

阅读数 376

评论数 0

百度网盘-破除限速

背景百度网盘时常50kb/s的速度实在感人(纵然有100M家庭电信宽带) 绿色安全版加速下载软件等你来取

2017-08-15 23:16:54

阅读数 3979

评论数 0

php中文乱码解决

初学php,写了个简单页面,发现中文乱码 而html的头中已经指定了字符集为gb2312 开始怀疑是配置的问题, 采用的是apache+php 首先,判断是否是apache配置的问题,如果任何网页页面发布到apache后都会中文乱码,那就要改动apache的配置文件 apache/...

2016-03-26 11:09:33

阅读数 280

评论数 0

Flume详解

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节...

2016-02-15 16:12:50

阅读数 430

评论数 0

Flume原理

Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发方, 用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能。 Flume采用了分层架构:分别为agent,collector和storage。其中,...

2016-02-15 16:06:23

阅读数 786

评论数 0

HIVE和HBASE区别

HIVE和HBASE区别 1. 两者分别是什么?    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了S...

2016-02-15 15:01:49

阅读数 297

评论数 0

zookeeper基本原理及适用场景

1.1 zookeeper简介        Zookeeper 是 Hadoop 生态系统中的协同实现,是Hadoop集群管理的一个必不可少的模块,它主要来控制集群中的数据,如它管理Hadoop集群中的NameNode,还有Hbase中Master Election、Server之间状...

2016-02-15 11:27:18

阅读数 251

评论数 0

pig hive hbase之间的关系和差异

Pig 一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。) Pig是一种数据流语言,用来快速轻松的处理巨大的数据。 Pig包含两个部分:Pig Interface,Pig Lati...

2016-02-13 16:09:56

阅读数 465

评论数 0

对于hadoop生态圈的理解

大数据,首先你要能存的下大数据。 传统的文件系统是单机的,不能横跨不同的机器。HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据能横跨成百上千台机器,但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据...

2016-02-13 16:08:42

阅读数 2442

评论数 0

pig: ERROR 1070

如图 ,对 上方 形如  ( 139250057413,{(139250057413,69,63,11058,48243)}) 的分过组的数据进行 统计,  使用命令 D = FOREACH C GENERATE group,sum(B.t6)....... 出现错误   : ERROR or...

2016-02-13 10:56:47

阅读数 315

评论数 0

pig实战演练:手机流量统计

•pig是一种操作hadoop的轻量级脚本语言,是基于hadoop的数据处理框架 •Pig包括两部分:   用于描述数据流的语言,称为PigLatin。   用于执行PigLatin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和  Hadoop集群上  的分布式执行环境。 • Pi...

2016-02-13 10:47:05

阅读数 304

评论数 0

hive实战演练:手机流量统计

hive 本质上是一个 sql 解析引擎 ,提供了一种类sql语言 hql 以便于使用,将我们熟悉的sql语言 转换成了 一个个map-reduce进程 需求 : 统计如下文件中 每个手机号使用流量的情况  待处理文件:http.dat 1363157985066 13726230503 00...

2016-02-05 11:34:57

阅读数 542

评论数 0

linux下启动、登陆 mysql 出现ERROR 2002(HY000):can't connect to local mysql server

linux下启动、登陆 mysql 时 出现ERROR 2002(HY000):can't connect to local mysql server through socket ‘/var/lib/mysql/mysql.sock' 今天登陆mysql -u -p 时 ,突然出现了如...

2016-02-05 10:09:29

阅读数 1078

评论数 0

rpm安装的mysql 如何卸载干净

rpm方式安装的mysql 首次 查看系统中是否以rpm包安装的mysql: [root@localhost opt]# rpm -qa | grep -i mysql MySQL-server-5.6.17-1.el6.i686 MySQL-client-5.6.17...

2016-02-04 16:02:05

阅读数 260

评论数 0

hive show databases 报错 ERROR in metadata : metadata Exception

使用hive时出现如上错误 FAILED : Error in metadata : MetaException(message :Got exception : java.net.Connect Exception Call to hadoop/192.168.56.100:9000 fail...

2016-02-04 15:09:57

阅读数 819

评论数 0

sqoop import ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion

使用sqoop 将mysql中的表上传到hdfs中时  出现error sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion 解决方法: 把mysql-connector-java  的jar包 复制到 /s...

2016-02-04 11:42:00

阅读数 6838

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭