2017年11月_agent_x

11月 08月 07月

转载 Spark On YARN内存和CPU分配

转自：http://blog.csdn.NET/fansy1990软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用Spark On YARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：[plain] view plain copy print?–executor-memory 8G –executor-cores 5 –num-e

2017-11-29 19:00:49 821

原创 windows Hadoop开发环境搭建及远程提交

这篇文章将介绍如何搭建hadoop的开发环境，并且详细描述如何通过intellij idea开发hadoop的map-reduce程序以及远程提交。前提：安装hadoop,下载winutils,并解压放在$Hadoop_HOME/bin目录下方法一：maven项目1、intellij idea创建maven项目这里就不多说了，先创建一个maven项目。 2、配置pom.xml文件，补全pom.

2017-11-29 13:35:23 3957

转载 Spark SQL读取hive数据时报找不到mysql驱动

Exception：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver

2017-11-29 11:25:35 1084

转载 Hadoop核心之HDFS 架构设计

来自：http://blog.csdn.net/suifeng3051/article/details/48548341 概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容

2017-11-29 11:15:29 318

转载 Selenium之Web页面滚动条滚操作

//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element); ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(t

2017-11-29 10:55:51 10376

原创 hive安装及mysql配置

centOS7 hive安装以及配置MySQL 为hive metastore

2017-11-28 23:06:08 11113

转载 Ganglia在CentOS7_x86_64上的yum安装与配置

0 前记：yum安装Ganglia比起make install 安装Ganglia方式要简单很多，因为yum方式安装不用自己去下载编译安装各依赖包。下面我介绍Ganglia在CentOS7_x86_64上的一个最简单的yum安装与配置的例子，只有1个Hadoop集群： Hadoop cluster：Hadoop集群，1个name node，20个data node（使用HadoopNameNo

2017-11-28 22:32:33 772