![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
阿里云大数据平台
RayBreslin
大数据开发、设计企业应用
展开
-
阿里云搭建大数据平台(5):scala和spark安装和配置
一、scala1.下载scala-2.11.8.tgztar -zxvf /opt/softwares/scala-2.11.8.tgz -C ./2.修改/etc/profilesudo vi /etc/profile添加:export SCALA_HOME=/opt/modules/scala-2.11.8export PATH=$SCALA_HOME/bin:...原创 2018-11-02 00:23:01 · 1042 阅读 · 0 评论 -
阿里云搭建大数据平台(6):Hive和mysql安装和配置
一、环境1.CentOS7.42.hive-1.1.0-cdh5.15.03.mysql5.7二、Hive安装和配置1.解压:tar -zxvf /opt/softwares/hive-1.1.0-cdh5.15.0.tar.gz -C /opt/modules/2.配置环境: 修改名称:mv hive-env.sh.template hive-env.sh...原创 2018-11-03 20:21:49 · 1807 阅读 · 0 评论 -
阿里云搭建大数据平台(9):kafka安装部署和测试
一、实现功能Kafka是消息队列的一种实现。A模块发送数据到kafka, B模块从kafka中获取数据。这样可以避免消息过多对处理消息服务器造成过大压力,消息可以先缓存在kafka然后,消费者从kafka中提取数据消费。二、部署和配置1.前提条件(1) 搭建jdk环境 => jdk1.8.x(2)搭建scala环境 => scala2.11.8(3)搭建zooke...原创 2018-11-07 08:23:43 · 1719 阅读 · 0 评论 -
阿里云搭建大数据平台(7):Hbase和zookeeper安装和配置
一、概述1.安装hbase需要环境:hadoop环境,zookeeper的环境2.Hbase结构hbase是分布式主从架构的数据库 (1)主节点:master 负责管理型工作,类似于namenode (2)从节点: regionserver具体的数据流和数据存储工作,类似与datanode 二、zookeeper安装和配置伪分布式...原创 2018-11-06 00:08:30 · 1718 阅读 · 0 评论 -
阿里云搭建大数据平台(8):flume安装部署和测试
一、flume安装1.解压缩 tar -zxvf flume-ng-1.6.0-cdh5.15.0.tar.gz -C /opt/modules/2.修改名字mv apache-flume-1.6.0-cdh5.15.0-bin/ flume-1.6.0-cdh5.15.0-bin/ 3.配置文件:conf/flume-env.sh(没有则重命名flume-env.sh...原创 2018-11-07 00:53:33 · 1561 阅读 · 0 评论 -
Hive(8):数据导入hive的多种方式
1、本地 load data local inpathLOAD DATA LOCAL INPATH ‘filepath' [overwrite] into table tablename [partition (partcol1=val1,...)]注意:(1)local代表本地(2)overwrite代表覆盖,如果不加,就是追加(3)分区表加载,特殊性 partition (p...原创 2018-11-07 00:01:01 · 263 阅读 · 0 评论 -
Hive(7):Hive四大表类型内部表、外部表、分区表和桶表
一、概述总体上Hive有四种表:外部表,内部表(管理表),分区表,桶表。分别对应不同的需求。下面主要讲解各种表的适用情形、创建和加载数据方法。二、具体内容1.内部表创建内部表和加载数据create table emp_inner(empno int,ename string,job string,mgr int,hiredate string,sal double...原创 2018-11-06 23:32:28 · 6063 阅读 · 2 评论 -
错误(为解决):yarn的wordcount任务卡在INFO mapreduce.Job: Running job: job_1541084101495_0003
1.问题描述:配置好,yarn的日志聚合功能。运行yarn的wordcount任务,发生错误。一直卡在INFO mapreduce.Job,无法运行。2.现象[hadoop@hadoop hadoop-2.6.0-cdh5.15.0]yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.ja...原创 2018-11-01 23:59:51 · 1426 阅读 · 2 评论 -
Error :spark-shell模式报错:java.sql.SQLException: A read-only user or a user in a read-only database
1.问题描述:启动spark-shell local的模式bin/spark-shell --master local[2]报错:[hadoop@hadoop spark-2.1.0-bin-hadoop2.6]$ bin/spark-shell --master local[2]Setting default log level to "WARN".To adjust l...原创 2018-11-03 11:19:28 · 1545 阅读 · 0 评论 -
阿里云搭建大数据平台(3):安装JDK和Hadoop伪分布环境
一、安装jdk1.卸载Linux自带的JDKrpm -qa|grep jdk #查询原始JDKyum -y remove <旧JDK>2.解压缩tar -zxvf /opt/softwares/jdk-8u151-linux-x64.tar.gz -C /opt/modules/3.将Java添加至环境变量vi /etc/profile添加...原创 2018-10-30 18:41:08 · 1538 阅读 · 0 评论 -
阿里云搭建大数据平台(2):远程工具软件连接阿里云,以及配置SSH
一、SecureCRT1.作用:远程连接服务器,从而可以再Windows下操作Linux服务器系统,使得操作非常方便。2.配置方法:(1)选择“连接”-》(2)新建连接(3)新建会话配置(4)连接服务器即可!二、notepad++1.功能远程连接服务器,使用文本编译服务器文本文件,比vim编译操作便捷。2.配置步骤(1)选择配...原创 2018-10-27 18:21:16 · 1438 阅读 · 0 评论 -
阿里云搭建大数据平台(1):远程连接阿里云平台
1.购买阿里云相应ECS服务器 2.点击“产品服务”-“云服务器ECS”3.选择“云服务器ECS”-》“概览”-》点击“云服务器1”4.重置密码选择实例,点击“重置密码”设置重置密码,即root用户的密码5.重启服务器,否则刚刚登陆密码不会生效6.远程连接输入远程连接密码(第一次登录的时候,会提示远程连接密码)7.登录成功...原创 2018-10-27 12:58:33 · 2845 阅读 · 0 评论 -
阿里云搭建大数据平台(4):Yarn配置以及日志聚合以及优化
一、Yarn基本配置和测试1.Yarn环境变量(1)yarn-env.shexport HADOOP_YARN_USER=/opt/modules/jdk1.8.0_151(2)mapred-env.shexport JAVA_HOME=/opt/modules/jdk1.8.0_1512.修改hadoop/etc/hadoop/mapred-site.xml ...原创 2018-11-01 00:00:27 · 778 阅读 · 0 评论