二、大数据环境篇
杏子与鸡腿
杏子和鸡腿可以兼得。
展开
-
Livy原理详解
概述 当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能以client的模式运行,这会严重影响扩展性。针对这些问题,cloudera研发了Livy,Liv...转载 2018-03-22 13:45:47 · 1032 阅读 · 0 评论 -
【二、大数据环境篇】001、方法论
1、官网的文档无论是学习Hadoop的hdfs、hive,还是hbase等,都要非常看重官网的文档。大数据的很多框架,都是Apache的顶级项目,各个组件框架的官网链接都可以从下面的链接进入:Hadoop:http://hadoop.apache.org/Avro™: 序列化系统HBase™: 分布式数据库Hive™: 数据仓库Mahout™: 机器学习与数据挖掘库Pig™: 并行计算的高级数据...原创 2018-03-19 15:44:46 · 438 阅读 · 0 评论 -
【二、大数据环境篇】002、hadoop基础搭建(HDFS+YARN)
0、下载安装包,解压后,配置环境变量:vim /etc/profileJAVA_HOME=/app/data_platform/soft/jdkCLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATHexport HADOOP_HOME=/app/data_platfor...原创 2018-03-19 15:59:56 · 280 阅读 · 0 评论 -
【二、大数据环境篇】003、Hive安装(上)- MySql安装
下面的操作都是使用root来操作的!Centos7 离线安装mysql 5.6详细步骤一、安装MySQL1、下载 https://dev.mysql.com/downloads/mysql/5.6.html2、卸载系统自带的Mariadb1) Centos7将默认数据库mysql替换成了Mariadb,如果想继续使用mysql 需要卸载Mariadb 再安装mysql2) mysql 5.7...原创 2018-03-19 16:25:50 · 454 阅读 · 0 评论 -
【二、大数据环境篇】003、Hive安装(下)
注意:安装mysql使用的是root,所以,需要将Hadoop的工作用户XXX_user添加到root组,否则hive初始化失败:org.apache.hadoop.hive.metastore.HiveMetaException: Failed to getschema version.Caused by: java.sql.SQLException: Access denied for use...原创 2018-03-20 11:01:23 · 1594 阅读 · 0 评论