自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Gavin博客专栏

Oracle BI Hadoop

  • 博客(14)
  • 资源 (3)
  • 收藏
  • 关注

原创 Docker Desktop+WSL2安装到自定义路径

现在大多数软件实在太“流氓”了,在安装过程中,根本不让你选择安装路径,默认安装到$HOME下(windows C盘),随着软件的使用增多,可能磁盘空间不够,这个时候就想着,看看某些软件能不能重新安装指定其它目录。一些软件可以直接移动安装目录到其它盘,一样可以用,但一些软件却不行。废话不多说,just show you the code.官网下载wins版本,改名为DockerDesktopInstaller.exe,然后打开cmd或者powershell运行下面命令即可安装到指定的目录。

2024-04-06 13:04:55 810 4

原创 ElasticSearch DSL结构的一些说明

对于初次接触elasticsearch(界内简称es)的童鞋来说,DSL是挺晦涩难懂的,不知道为什么要这样嵌套,自己写老是会出错,下文给你一个思路读懂DSL,大神可跳过。 官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html https://www.ela...

2018-03-19 20:39:15 2061

原创 Azkaban源码阅读

目录结构: Azkaban分为8个大模块: az-core:基础模块. azkaban-common:公共模块. azkaban-db:提供访问数据库模块. azkaban-exec-server:具体执行任务的模块. azkaban-web-server

2017-12-28 14:56:55 3969 3

原创 NAT模式实现局域网物理机与虚拟机的互通访问

玩过虚拟机的朋友都知道,不管是vbox还是vm,最常用的网络设置也不外乎3种: 1、桥接模式:此模式下,虚拟机的操作系统就像和物理机同一段网络中的物理机一样,它可以访问网络中的任何机器,同时只要物理机可以访问网络,虚拟机也可以实现上网。此模式是懒人模式首选!但换来一个问题就是,如果你的物理机网络IP发生变化,虚拟机的IP也会相应的改变。如果IP变化对虚拟机有影响的环境,此模式慎用!

2017-08-12 23:07:07 67316 17

原创 Kettle的使用分享

一、下载与安装下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 将下载的zip文件解压到任意路径(最好是英文不带空格的路径,以免引起乱码等未知问题) 文件结构:(不包括打马赛克的文件夹) lib目录:存放jar包,包括jdbc驱动包。 pwd目录:Kettle集群配置文件。 samp

2017-07-27 13:01:22 13079 1

原创 Informatica的下载安装和配置

本文主要讲解从下载,安装到配置,直至可以愉快进行Mapping开发的整个过程的一些简要说明。

2017-07-27 00:21:18 27627 7

原创 内存小于16GG搭建Hadoop集群的一些个人观点

很多同鞋在学习大数据过程中,也会在自己电脑上搭建环境,但是内存不足确实是个让人头疼的问题,废话不多说,个人有如下一些想法,分享给大家:1、使用apache原生的hadoop来搭建集群,除了配置繁琐之外,还可能会有很多版本兼容性的问题(这很是头疼的问题),当然在一些组件的官网有明确的版本依赖性说明,搭建haddop+hive或者hadoop+hbase等,管理起来也非常的不便,得自己写脚本来实现监控。

2017-07-09 16:13:58 13775 5

原创 kudu创建表时候遇到的问题

在自己的实验集群(单节点)上,通过impala-shell创建kudu表时候,报如下错误:CAUSED BY: NonRecoverableException: Not enough live tablet servers to create a table with the requested replication factor 3. 1 tablet servers are alive.这是因

2017-07-09 16:13:22 9767 4

原创 启动YARN时,ResourceManager 和 NodeManager报错 Error found before invoking supervisord dictionary update s

在通过CM启动Yarn服务时候,不同的版本可能都会遇到同样的一个问题,如下图所示: Error found before invoking supervisord: dictionary update sequence element #89 has length 1; 2 is required 之前在cm5.5、cm5.7以及现在的cm5.11都出现过这样的问题。

2017-07-01 15:53:39 6090 1

原创 安装CDH时候出现主机运行状态不良情况的解决

> 发现很多兄弟在安装CDH过程的分配这一步,总是遇到“主机运行状态不良”的提示,当然我也遇到过。 解决办法就是,根据自己安装的cm版本来删除文件,我的路径是:rm -f /opt/cloudera-manager/cm-5.11.1/lib/cloudera-scm-agent/cm_guid 如果是多节点,则需要删除每个agent节点的这个文件。 进入到

2017-07-01 13:02:19 24166 2

原创 kudu踩坑记之一

在开发过程中,难免会手误,由于在通过impala-shell建kudu表时候把bigint类型的字段写成了string,以致后面在计算时候报错。但由于该表有2亿的数据(交易明细表),不可能重新抽取,于是按照关系型数据库的思维来操作。 1、暂以A表示原表,新建一个正确的表B, 2、insert into B select * from A;(此步耗时2-3分钟,与机器性能有关)

2017-06-29 20:30:18 9371

原创 Apache Kudu 简介

Introducing Apache KuduKudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性,运行在一般的商用硬件上,支持水平扩展,高可用,目前是Apache Hadoop生态圈的新成员之一(incubating)。Kudu的设计与众不同,它定位于应对快速变化数据的快速分析型数据仓库,希望靠系统自身能力,支撑起同时需要高吞吐率的顺序

2017-06-29 18:42:57 1625

原创 暴力卸载CDH 5.x

删除前最好将之前的下载的rpm包或cloudera-manager-el6-cm5.x__x86_64.tar.gz及parcels包备份一下.以下步骤,执行时候请三思,小心误删或者杀错非cdh集群进程,没有则跳过.1.停止servicerpm包安装方式执行以下命令:service cloudera-scm-agent stopservice cloudera-scm-server stop完全

2017-06-05 15:25:28 3742 7

原创 MR解析hdfs操作日志文件示例

针对如下样例文件:2016-04-03 22:53:19,912 INFO FSNamesystem.audit: allowed=true ugi=hdfs (auth:SIMPLE) ip=/192.168.0.4 cmd=getfileinfo src=/tmp dst=null perm=null proto=rpc2016-04-03 22:53:26,141 IN

2017-06-04 17:18:48 2983 2

apache_hbase_reference_guide.pdf

英文原版

2021-06-21

Doris基础使用手册.pdf

Doris基础使用手册.pdf

2021-06-21

DAMA-DMBOK Guide.pdf

英文版的 DAMA-DMBOK Guide

2021-06-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除