关注
分享
Shaw_Bigdata
追求最新技术,创新最好科技- -走向大数据时代。
展开
-
spark参数调优
spark调优、大数据调优、spark优化原创 2022-02-09 17:24:52 · 709 阅读 · 0 评论 -
Spark On YARN部署模式下的内存分配情况
本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。 当在YARN上运行Spark作业，每个Spark原创 2017-08-02 11:30:13 · 871 阅读 · 0 评论 -
hive、mysql搭建(简洁明了5分钟完全搞定)
五、hive的安装(不同版本的hadoop尽量找相对应hive版本) 1、下载hive安装包---apache-hive-1.1.1-bin.tar 2、解压安装到opt下面 tar -zxvf apache-hive-1.1.1-bin.tar -C ~/opt/ 3、配置环境变量 sudo gedit /etc/profile 在下面增加 export原创 2017-08-19 08:36:06 · 2083 阅读 · 0 评论 -
kafka集群搭建和参数详细解析
kafka集群搭建，配置参数详细，快速完成，并且附带检测原创 2017-08-19 11:58:25 · 638 阅读 · 0 评论 -
elasticsearch集群快速上手搭建
集群搭建 ElasticSearch的集群我还是以elasticsearch-2.3.1版本为例。在开始集群搭建之前，我先给大家一点建议，在看elasticsearch-2.3.1的配置文件之前，先看elasticsearch低版本的配置文件，例如：1.6，因为低版本的配置文件的英文解释比较多，而且比较透彻，学习更加简单。下面我们来搭建一个简单的集群。 下载es 链接(http://d原创 2017-08-19 16:20:33 · 289 阅读 · 0 评论 -
spark-1.2.0 集群环境搭建(完整一套)
spark-1.2.0 集群环境搭建(sprak集群依赖hadoop至上，用的是分布式APACHE系统HDFS) （此处搭建承接文档hadoop搭建，服务地址一样需要修改配置,下面附链接） 一、安装jdk(1.7)------查看hadoop环境配置文件里面的jdk配置(一样) 二、ssh免验证---------查看hadoop环境配置文件里面的ssh免验证(一样)原创 2017-08-20 10:26:50 · 442 阅读 · 0 评论 -
hadoop2.6.0搭建(简洁明了10分钟完全搞定)
hadoop2.6环境搭建 1,准备环境:虚拟机hadoop01，修改ip地址master (192.168.111.10) slaves1(192.168.111.11) slave2192.168.111.12) 2,修改主机名字 sudo gedit /etc/hostname(三个主机都要该) 一、安装jdk(1.7) 注意:jdk版本必须要和系统原创 2017-08-06 10:15:12 · 1386 阅读 · 1 评论 -
基于ambari搭建hadoop生态圈大数据组件
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。原创 2018-01-22 14:18:42 · 14038 阅读 · 2 评论