![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 73
奋斗, 拼
生活创造数据,数据改变生活。
展开
-
Kylin Dashboard 功能开启
1.修改Kylin配置文件开启Dashboard功能修改kylin.properties,并添加如下内容:kylin.server.query-metrics2-enabled=true kylin.metrics.reporter-query-enabled=true kylin.metrics.reporter-job-enabled=true kylin.metrics.mo...原创 2019-10-24 09:37:39 · 509 阅读 · 0 评论 -
mysql无侵入式数据采集之 binlog
针对MySQL的binlog的采集,笔者整理了如下解决方案。方案1:binlog + maxwell 方式采集步骤如下: 1、开启mysql的bin-log 开启方式,修改my.cnf(/etc/my.cnf) 添加如下内容: server-id=1 log-bin=master(这一步开启binlog) binlog_...原创 2018-08-01 15:46:41 · 1801 阅读 · 0 评论 -
Kylin 2.0安装
1. Kylin安装1.1. 安装前准备安装kylin前确保:hadoop、hbase、hive已经安装并启动。Hive需要启动metastore和hiveserver2。1.2. 下载kylin下载地址:这里下载的是:apache-kylin-2.0.0-bin-hbase1x.tar.gz1.3. 解压安装包tar –zxvf apache-kylin-2.0.0-bin-...原创 2018-03-20 16:59:48 · 635 阅读 · 0 评论 -
Hibench大数据基准测试使用教程
本文主要介绍:Hibench的使用以及Hibench测试相关配置一、安装Hibench1、下载Hibenchwget https://github.com/intel-hadoop/HiBench/archive/HiBench-7.0.zip2、编译所有模块(注意:编译前,确保系统中已经安装好了maven)命令:mvn -Dspark=2.1 -Dscala=2.11 clean package...原创 2018-02-08 09:54:09 · 5193 阅读 · 0 评论 -
Hadoop3.0集群安装(包含HDFS HA配置)
hadoop3.0出来了,想尝试一下新版本的特性及mapreduce性能提升,以下以6台机器作为hadoop集群,机器主机名为:hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6,其中hadoop1-3作为namenode节点,hadoop4-6作为datanode节点。 一、前提条件1、6台机器上都安装了jdk,并配置好了jdk环境变量(建...原创 2018-03-07 10:23:13 · 2736 阅读 · 0 评论 -
Spark2.2.1 on yarn 模式集群安装
假设集群有4台机器,主机名分别为:spark1、spark2、spark3、spark4。一、前提条件1、确保集群中已经安装好了hadoop-2.7hadoop集群安装参考:http://blog.csdn.net/u011563666/article/details/501704652、确保集群中每台机器上已经安装好了scala-2.11二、安装scala(若已经安装好了scala,请跳过该步骤...原创 2018-02-09 14:46:17 · 1961 阅读 · 2 评论 -
Hadoop各个服务端口列表
端口Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明转载 2018-01-10 17:12:36 · 23685 阅读 · 0 评论 -
Hadoop集群从节点出现错误: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s);
错误详情如下:2018-01-09 17:47:22,892 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(m...原创 2018-01-10 18:01:20 · 13085 阅读 · 5 评论 -
CentOS7安装Hive2.3.2
一、前提条件准备1、系统中已经安装好了Hadoop-2.x集群环境(伪分布式也可以),我这里安装的是hadoop-2.7.3hadoop安装参考:http://blog.csdn.net/u011563666/article/details/501704652、确保系统一种已经安装好了MySQL mysql用于存储hive元数据信息,目前hive支持的元数据库有der原创 2018-01-02 16:19:06 · 2219 阅读 · 1 评论 -
Zookeeper集群自动启动停止脚本
前提条件:1、下面以主机hadoop1、hadoop2、hadoop3作为zookeeper集群。2、以上机器之间已经配置好了ssh免密码登录。startzk-all.sh 启动脚本内容如下:#!/bin/bashecho “Starting zk cluster ......”for i in {1..3}dossh原创 2018-01-19 16:58:49 · 2280 阅读 · 0 评论 -
hiveserver2服务异常停止,报错:java.lang.OutOfMemoryError: Java heap space
错误详情如下:Exception in thread "HiveServer2-Handler-Pool: Thread-956" Exception in thread "HiveServer2-Handler-Pool: Thread-953" java.lang.OutOfMemoryError: Java heap space at java.util.HashMap.newNo转载 2018-01-11 13:49:07 · 6124 阅读 · 0 评论 -
HAWQ安装方式之RPM包安装
HAWQ是一个Hadoop原生大规模并行SQL分析引擎,针对的是分析性应用。和其他关系型数据库类似,接受SQL,返回结果集。但它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能。HAWQ为PB级SQL on Hadoop操作专门设计。数据直接存储在HDFS上,并且SQL查询优化器中已经为基于HDFS的文件系统性能特征进行过细致的优化。HAWQ丰富且完全兼容的SQL标准 。本篇文章主要讲解HAWQ的安装过程。原创 2017-12-15 16:45:26 · 2259 阅读 · 0 评论 -
Hadoop伪分布式与分布式安装
hadoop中文官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html一.hadoop伪分布安装步骤如下本人用的linux是centOS6.x1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 设置主机名原创 2015-12-04 09:26:28 · 922 阅读 · 0 评论