小明

问道三叩首

hadoop2.7高可用安装配置过程以及常见问题解决

一、集群规划二、基本配置 修改静态IP、修改主机名、配置主机名与-P映射,关闭防火墙,安装JDK并配置环境变量,这些操作相对不易出错且已有很多成熟安装笔记,不再赘述三、ssh免密登录配置 参考我另一篇博客 《ssh免密配置》四、安装zookeeper 安装相对简单,有很多成熟资料可供...

2017-01-16 18:19:22

阅读数 389

评论数 0

hive web界面安装详细安装步骤

一、概述 hiveweb界面说实话长得有点保守,而且配置起来有点烦人,动不动就缺各种jar包,好在问题已经解决,这里分享下。我的版本如下: hadoop-2.7.0、hive-1.2.1、jdk8、ant-1.9.8,其中hive使用MySQL存储元数据。 8278

2017-01-16 17:22:41

阅读数 329

评论数 0

centos6.5 搭建FTP服务器

一、FTP服务器安装以及基本操作安装 yum -y install vsftpd启动 service vsftpd star设置开机启动 chkconfig vsftpd on启动ftp服务 service vsftpd start查看ftp服务状态 service vsftpd sta...

2017-01-05 10:49:24

阅读数 1080

评论数 0

java 实现kafka消息生产者和消费者

一、概述 kafka原理这东西就不再赘述了,除了官网网上也是能找到一大堆,直接上代码,这里实现的基本需求是 producer类利用for循环来产生消息,然后consumer类来消费这些消息,我的正确运行环境是:centos-6.5 kafka-2.10_0.10 scala-2.1...

2016-12-14 16:56:57

阅读数 1443

评论数 0

Spark 读取Hbase表数据并实现类似groupByKey操作

一、概述 程序运行环境很重要,本次测试基于: hadoop-2.6.5 spark-1.6.2 hbase-1.2.4 zookeeper-3.4.6 jdk-1.8 废话不多说了,直接上需求 Andy column=baseINFO:age, value=21 Andy colu...

2016-12-13 17:04:39

阅读数 1715

评论数 0

Hbase shell操作总结

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表,包含info、data两个列族 create ‘users’, ‘info’, ‘data’ //you can also use this command: // create ‘users’...

2016-12-13 15:29:34

阅读数 244

评论数 0

Hbase-1.2.4 javaAPI操作总结

一、 概述 关于Hbase的工作原理网上已经有很多详细介绍,就不在这里赘述了,我们直接研究代码作为Hbase最新stable版,Hbase内部引入的部分hadoop2.5系列的jar包,这里且暂不去理会它,但是Java环境必须要8以上,我的正确运行环境为: Centos-6.5 hadoop...

2016-12-06 17:51:47

阅读数 297

评论数 0

基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料,这里不再赘述 由于spark1.x的sqlContext在spark2.0中被整合到sparkSession,故而利用spark-shell客户端操作会有些许不同,具体如下文所述二、spark额外配置 1. ...

2016-11-22 12:39:11

阅读数 754

评论数 0

centos6.5下apache-kylin1.6.0 安装配置

一、安装条件 Hadoop、 hive 、hbase 、zookeeper、必须已安装完毕并可正确运行 二、开始配置 1. 下载解压(注意与hbase的版本适配) 2. 配置KYLIN_HOME 3. 进入KYLIN_HOMEvim bin/kylin....

2016-11-21 18:16:07

阅读数 660

评论数 0

centos 6.5安装MySQL

yum -y install mysql-server启动mysql数据库service mysqld start初始化mysql数据库(默认root的密码为空,按提示一步步完成)/usr/bin/mysql_secure_installation将mysql加入开机启动chkconfig mys...

2016-11-21 16:46:24

阅读数 571

评论数 0

hive 2.1.0 安装及MySQL元数据管理配置

一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 进入解压之后的目录,使用当前路径配置HIVE_HOME 2. 进入安装目录下con...

2016-11-21 16:41:17

阅读数 1411

评论数 0

Hbase集群搭建

Hbase作为典型的nosql数据库,依托于HDFS可实现海量数据秒级查询,这里在Hadoop集群搭建完善的情况下搭建完全分布式的Hbase集群 1. 修改conf/hbase-env.sh修改JAVA_HOME export JAVA_HOME=xxxx 2. 修改hbas...

2016-11-17 14:51:24

阅读数 276

评论数 0

flume实时接收kafka消息并保存至HDFS

#-------agent------ # 定义sources agent.sources = kafkaSource # 定义channels agent.channels = memoryChannel # 定义sinks agent.sinks = hdf...

2016-11-10 13:48:24

阅读数 4794

评论数 1

flume整合kafka之kafka接收flume数据

1.创建配置文件 基本配置如下: #source a1.sources = sysSrc a1.sources.sysSrc.type=avro a1.sources.sysSrc.bind=0.0.0.0 a1.sources.sysSrc.port=33333 a1.sou...

2016-11-10 13:46:01

阅读数 2818

评论数 30

kafka集群搭建

1.  kafka2.11下载并解压 2.  修改配置文件     · config/server.properties broker.id=4(集群里的id不能重复,我是取每台机器IP最后一位) listeners=PLAINTEXT://192.168.248.134:...

2016-11-10 13:45:06

阅读数 285

评论数 0

flume-ng三大组件介绍与应用

一、概述 flume是分布式的,可靠的,用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统,最初由Cloudra公司开发,现为Apache基金会的顶级项目之一。二、 概念、模型 1. Flume Event Flume事件 - 被定义为...

2016-10-29 17:57:46

阅读数 1651

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭