Hadoop Hue Hive
陈伦(colby)
项目经理/数据架构师/资深数据从业者。
熟悉传统数据、互联网数据处理,精通数据仓库方法论、数据迁移、数据处理、数据可视化、数据建模、架构设计、方案设计,曾负责多个数仓项目0到1建设并落地,有PB级数据调优实战经验!
曾获得计算机四级数据库证书、PMP项目管理专业人士证书等。
展开
-
Hadoop之Hue3.9.0详细安装文档
HUE3.9.0详细安装文档 友情提示,安装任何LUW软件之前,务必先阅读readme自带文档,里面有很多关键信息,不要拿着就开搞,浪费半天时间发现一大堆错误。 1 环境准备... 4 2 启动HIVE后台进程(确保HIVE安装OK)4 3 安装OS依赖包... 4 4 编译安装HUE. 6 4.1 编译Hue(保持服务器网络畅通)6 4.2 修改配置文件hue.i原创 2017-09-06 10:41:02 · 1229 阅读 · 0 评论 -
hive之Python UDF函数操作map数据 详解 全是干货
#1、Hive基本操作: 查看dw.full_h_usr_base_user的详细信息,可以获取数据文件的存放路径 desc formatted dw.full_h_usr_base_user; dfs -ls dfs -ls hdfs://BIGDATA:9000/user/hive/warehouse/dw.db/full_h_usr_base_user; 删除外表原创 2017-09-30 10:23:50 · 2819 阅读 · 0 评论 -
dataX 在Linux的安装部署与测试方案
环境准备 Hadoop2.7.3 Hive1.2.1 JDK1.8 Python2.7 centOS系统默认自带 Mysql5.7 dataX3.0 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 测试脚本准备 Mysql建表脚本与数据脚本 DROP TABLE...原创 2019-08-24 18:46:09 · 3989 阅读 · 0 评论 -
Hive之UDF实现
Java实现UDF函数 一、实现字符串到数字的转换 package com.easyrong.data.function; import org.apache.hadoop.hive.ql.exec.UDF; public class NumberToChar extends UDF{ public static int byteToInt(byte b) { //...原创 2019-09-06 13:59:16 · 869 阅读 · 0 评论 -
最简单的大数据平台架构
原创 2019-09-06 14:08:41 · 418 阅读 · 0 评论