![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 80
车路士_4everBLUE
这个作者很懒,什么都没留下…
展开
-
CDH5搭建
系统要求系统:CentOS 6.5Cloudera:CM5.2.0 + CDH 5.2.0内存:主节点4G内存以上,其他节点需要2G以上内存Hadoop版本选择目前Hadoop比较流行的主要有2个版本,Apache和Cloudera版本。Apache Hadoop:维护人员比较多,更新频率比较快,但是稳定性比较差。Cloudera Hadoop(CDH):CDH:C转载 2017-07-20 14:09:36 · 283 阅读 · 0 评论 -
卸载CDH5
1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别?重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目录:个人建议:这一步虽然是官网这么做,但是下面命令还是不要执行,因为我们后面转载 2017-07-20 14:13:25 · 498 阅读 · 0 评论 -
mapreduce中Partitioner数量与reducetask数量对结果影响
图中可以看出Partition主要作用就是将map的结果发送到相应的reduce。1.现在测试一下第一种情况,Partition数量为1,返回值0,reduce数量为3。设置reduce数量设置Partition数量结果输出3个文件,但只有part-r-00000有内容,其它两个为0字节。2.现在测试一下第二种情况,Partition数量为1原创 2017-07-21 09:06:41 · 5671 阅读 · 1 评论 -
cdh5使用cloudera-manager-installer.bin离线安装
1. 硬件准备一个2台节点集群,Host对应关系如下:192.168.0.168 h168192.168.0.169 h1692. 软件准备系统环境CentOS6.5CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcelCDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.shacloudera-mana原创 2017-09-29 10:15:09 · 2387 阅读 · 0 评论 -
tengine的安装
1. 解压在/opt下 tar -zxvf tengine-2.1.0.tar.gz2. 安装依赖 yum -y install gcc openssl-devel pcre-devel zlib-devel3. 编译三步走 在tengine-2.1.0文件夹下运行./configure \ --prefix=/opt/tengine-2.1.0/ \ --error-lo原创 2017-09-29 16:48:06 · 215 阅读 · 1 评论 -
HBase RowKey的设计原则
HBase是三维有序存储的,三维指的是:RowKey(行健)、column key(columnFamily和qualifier)、TimeStamp(时间戳),通过这三个维度我们可以对HBase中的数据进行快速定位。下面我们主要来讨论RowKey的设计原则:HBase中RowKey可以唯一标识一条记录,在HBase查询的时候,我们有两种方式,第一种是通过get()方法指定RowKey条件转载 2017-12-05 10:00:11 · 245 阅读 · 0 评论 -
nginx,tomcat,redis,keepalived高可用实现
1.安装nginx,tomcat,redis。命令都为tar -zxvf ***,安装redis时,在redis根目录后要加 make 命令。2.修改nginx的nginx.conf: upstream nginx { server 192.168.0.168:8080; server 192.168.0.168:8090;原创 2017-10-09 11:10:44 · 411 阅读 · 0 评论