- 博客(6)
- 收藏
- 关注
原创 使用Datagrip连接spark-thriftserver使用sparksql
使用Datagrip连接spark-thriftserver因为在编译spark时使用含有hive的编译以支持sparksql on hive ,所以在Datagrip连接spark-thriftserver时就不能使用hive的连接驱动版本,而需要spark的,具体改动如下:但是存在问题,spark-thriftserver无法获取hive-metastore中的元数据库和表的信...
2019-06-01 19:20:48 4183 4
原创 大数据平台学习之路(4)编译hue并使用
1、背景上篇博客已经记录了安装hive,编译spark的过程,但是spark-sql shell或者hive shell编写sql来并不是很方便,所以这篇博客介绍hue,编译hue并使用。2、HUE简介github地址https://github.com/cloudera/hueHue是一个开放源码的SQLWorkbench,用于浏览、查询和可视化数据仓库中的数据:gethue....
2019-05-31 16:41:57 1204 2
原创 大数据平台学习之路(3)安装hive-2.3.4编译spark-2.3.3
1、背景上一篇博客中已经安装了 hadoop并配置了免密登录,这篇博客记录安装hive和编译spark的过程。2、准备文件ubuntu 16.04http://releases.ubuntu.com/16.04/ubuntu-16.04.6-desktop-amd64.iso.torrent?_ga=2.96890143.1440843407.1553350287-1855693...
2019-03-24 23:13:04 1134
原创 大数据平台学习之路(2)搭建hadoop平台
1、背景上篇博客已经讲述了如何去安装ubuntu 16.04 系统并安装了java,ssh,vim其中JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64本篇博客主要关于如何搭建hadoop平台(hadoop-2.8.5)2、文件准备我目前使用的hadoop是官方发布的二进制版本,稳定版本,但是可能存在一些意料之外的bug,所以官方建议不作为生...
2019-03-15 22:00:45 1748 2
原创 大数据平台学习之路(1)VM安装ubuntu 16.04 系统
1、安装linux系统(Ubuntu 16.04 LTS)刚开始建议使用桌面版,熟悉之后推荐使用服务器版系统 Ubuntu 16.04 desktop下载地址http://releases.ubuntu.com/16.04/ubuntu-16.04.6-desktop-amd64.iso.torrent?_ga=2.102905216.1637484447.1552535409-18...
2019-03-14 21:57:55 1056 2
原创 大数据平台学习之路(0)背景
背景介绍作者目前是一个大四学生,对电脑和系统软件很痴迷,也经常去帮同学老师解决一些力所能及的问题。在大三的时候参与助研,受到老师启发并对hadoop生态系统具有强烈的兴趣,然后就一直利用课余时间和毕设时间搭建hadoop平台和添加新功能并调整适应实验环境。目前开设一个博客是为了做一个记录以备日后查阅,帮助有同等爱好的人少走一些弯路,将我踩过的坑记录以供别人借鉴,希望有这方面爱好的同学可以一...
2019-03-14 19:50:22 317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人