小明

问道三叩首

hadoop2.7高可用安装配置过程以及常见问题解决

一、集群规划二、基本配置 修改静态IP、修改主机名、配置主机名与-P映射,关闭防火墙,安装JDK并配置环境变量,这些操作相对不易出错且已有很多成熟安装笔记,不再赘述三、ssh免密登录配置 参考我另一篇博客 《ssh免密配置》四、安装zookeeper 安装相对简单,有很多成熟资料可供...

2017-01-16 18:19:22

阅读数 392

评论数 0

centos6.5 搭建FTP服务器

一、FTP服务器安装以及基本操作安装 yum -y install vsftpd启动 service vsftpd star设置开机启动 chkconfig vsftpd on启动ftp服务 service vsftpd start查看ftp服务状态 service vsftpd sta...

2017-01-05 10:49:24

阅读数 1082

评论数 0

Spark 读取Hbase表数据并实现类似groupByKey操作

一、概述 程序运行环境很重要,本次测试基于: hadoop-2.6.5 spark-1.6.2 hbase-1.2.4 zookeeper-3.4.6 jdk-1.8 废话不多说了,直接上需求 Andy column=baseINFO:age, value=21 Andy colu...

2016-12-13 17:04:39

阅读数 1723

评论数 0

Hbase shell操作总结

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表,包含info、data两个列族 create ‘users’, ‘info’, ‘data’ //you can also use this command: // create ‘users’...

2016-12-13 15:29:34

阅读数 244

评论数 0

Hbase-1.2.4 javaAPI操作总结

一、 概述 关于Hbase的工作原理网上已经有很多详细介绍,就不在这里赘述了,我们直接研究代码作为Hbase最新stable版,Hbase内部引入的部分hadoop2.5系列的jar包,这里且暂不去理会它,但是Java环境必须要8以上,我的正确运行环境为: Centos-6.5 hadoop...

2016-12-06 17:51:47

阅读数 299

评论数 0

基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料,这里不再赘述 由于spark1.x的sqlContext在spark2.0中被整合到sparkSession,故而利用spark-shell客户端操作会有些许不同,具体如下文所述二、spark额外配置 1. ...

2016-11-22 12:39:11

阅读数 762

评论数 0

centos6.5下apache-kylin1.6.0 安装配置

一、安装条件 Hadoop、 hive 、hbase 、zookeeper、必须已安装完毕并可正确运行 二、开始配置 1. 下载解压(注意与hbase的版本适配) 2. 配置KYLIN_HOME 3. 进入KYLIN_HOMEvim bin/kylin....

2016-11-21 18:16:07

阅读数 687

评论数 0

centos 6.5安装MySQL

yum -y install mysql-server启动mysql数据库service mysqld start初始化mysql数据库(默认root的密码为空,按提示一步步完成)/usr/bin/mysql_secure_installation将mysql加入开机启动chkconfig mys...

2016-11-21 16:46:24

阅读数 571

评论数 0

hive 2.1.0 安装及MySQL元数据管理配置

一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 进入解压之后的目录,使用当前路径配置HIVE_HOME 2. 进入安装目录下con...

2016-11-21 16:41:17

阅读数 1416

评论数 0

Hbase集群搭建

Hbase作为典型的nosql数据库,依托于HDFS可实现海量数据秒级查询,这里在Hadoop集群搭建完善的情况下搭建完全分布式的Hbase集群 1. 修改conf/hbase-env.sh修改JAVA_HOME export JAVA_HOME=xxxx 2. 修改hbas...

2016-11-17 14:51:24

阅读数 276

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭