2016年11月_reylee911

原创 Flume 与 kafka 配置和使用

1，使用版本如下：flume-1.7.0kafka-2.11.0zookeeper-3. 4.92, 配置flume, 源数据基于日志文件内容检测， sink为 kafka 的producer, 配置文件如下：a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the so

2016-11-30 17:20:58 734

原创 Zookeeper客户端不能启动问题

1，安装完zookeeper后运行客户端：root@MASTER opt]# zkCli.sh -server SLAVE:2181Connecting to SLAVE:21812016-11-10 11:15:10,274 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.versi

2016-11-10 14:39:34 21114

原创 HBASE 安装后 hbase shell 启动失败问题

1，安装HBASE，　并且启动成功[root@MASTER opt]# jps21920 SecondaryNameNode2273 HMaster21441 NameNode5490 ResourceManager1844 QuorumPeerMain2501 HRegionServer21653 DataNode3532 Jps22236 No

2016-11-10 14:32:26 12429

原创 Hive2.1.0安装配置mysql

1. 设置Hive环境变量export JAVA_HOME=/usr/java/jdk1.8.0_111export JRE_HOME=/usr/java/jdk1.8.0_111/jreexport CLASSPATH=/usr/java/jdk1.8.0_111/libexport HADOOP_HOME=/root/cluster/opt/hadoop-2.6.0expo

2016-11-08 17:05:28 598

原创 hadoop 2.6 环境搭建

一、环境说明1、机器：一台物理机(MASTER)和一台虚拟机(SLAVE)2、集群节点：两个 MASTER(Master）, SLAVE(Slave)MASTER 10.12.2.182SLAVE 10.12.2.903, 设置主机名称1)Vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=MASTER2) vi

2016-11-04 16:43:03 317

原创如何解决误修改/etc/passwd 的root根目录，导致无法进入root根目录的问题

最近想修改root的默认根目录从/home/rli 到 /root, 打开/etc/passwd，找到root用户行修改。但当用 su root 时，却发现根目录有问题，导致crash, 现在无法使用root权限了：（经过查看相关的文档，发现可以先把/etc/passwd 文档 copy到另外一台主机上(scp)，然后再修改回原先的根路径，最后copy到当前主机

2016-11-03 10:33:52 5324

原创 ssh免密码登录问题分析

环境说明：一台linux虚拟机和一台linux PC1，配置机器虚拟机hostname#hostname rli_vb查看：#hostnamerli_vb命名成功。2，添加hosts:添加10.12.2.90 rli_vb10.12.2.182 rli_linux到 /etc/h

2016-11-02 17:46:57 297

转载 Hadoop时代的大数据架构

后Hadoop时代的大数据架构提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。提到大数据分析平台，不得不说Hadoop系统，Had

2016-11-01 16:49:11 610

转载 Hadoop 生态系统

1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于

2016-11-01 11:19:36 484

转载 hadoop1.x 与hadoop2.x 架构变化分析

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：（1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFSFederation与HA；（2）MapReduce将JobTracker中的资源管理及任务生命周期管理

2016-11-01 10:15:11 3584

reylee的博客