2016年11月_CaramelCapucchino

原创基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell客户端操作会有些许不同，具体如下文所述二、spark额外配置 1. 正常配置不再赘述，这里如果需要读取MySQL数据，则需要在当前用户下的环境变量里额外加上JDBC的驱动j

2016-11-22 12:39:11 1295

原创 centos6.5下apache-kylin1.6.0 安装配置

一、安装条件 Hadoop、 hive 、hbase 、zookeeper、必须已安装完毕并可正确运行二、开始配置 1. 下载解压（注意与hbase的版本适配） 2. 配置KYLIN_HOME 3. 进入KYLIN_HOMEvim bin/kylin.sh export KYLIN_HOME=/wxm/sorftware/kylin/ apache

2016-11-21 18:16:07 914

原创 centos 6.5安装MySQL

yum -y install mysql-server启动mysql数据库service mysqld start初始化mysql数据库（默认root的密码为空，按提示一步步完成）/usr/bin/mysql_secure_installation将mysql加入开机启动chkconfig mysqld on允许远程登录mysql 首先登录mysql数据，然后执行下面两行语句：GRANT ALL

2016-11-21 16:46:24 677

原创 hive 2.1.0 安装及MySQL元数据管理配置

一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕二、安装 1. 下载并解压进入解压之后的目录，使用当前路径配置HIVE_HOME 2. 进入安装目录下conf目录 vim hive-site.xml 加入以下配置<?xml

2016-11-21 16:41:17 1660

原创 Hbase集群搭建

Hbase作为典型的nosql数据库，依托于HDFS可实现海量数据秒级查询，这里在Hadoop集群搭建完善的情况下搭建完全分布式的Hbase集群1. 修改conf/hbase-env.sh修改JAVA_HOMEexport JAVA_HOME=xxxx2. 修改hbase-site.xml，配置开启完全分布式模式配置hbase.cluster.distributed

2016-11-17 14:51:24 405

原创 flume实时接收kafka消息并保存至HDFS

#-------agent------# 定义sourcesagent.sources = kafkaSource# 定义channelsagent.channels = memoryChannel# 定义sinksagent.sinks = hdfsSinkagent.sources.kafkaSource.channels = memoryC

2016-11-10 13:48:24 5862 1

原创 flume整合kafka之kafka接收flume数据

1.创建配置文件基本配置如下：#sourcea1.sources = sysSrca1.sources.sysSrc.type=avroa1.sources.sysSrc.bind=0.0.0.0a1.sources.sysSrc.port=33333a1.sources.sysSrc.channels=fileChannel#channela1.

2016-11-10 13:46:01 3747

原创 kafka集群搭建

1. kafka2.11下载并解压2. 修改配置文件 · config/server.propertiesbroker.id=4（集群里的id不能重复，我是取每台机器IP最后一位）listeners=PLAINTEXT://192.168.248.134:9092（格式不变，绑定本机IP）log.dirs=/home/hadoop/kafka/logs

2016-11-10 13:45:06 689

小明