2018年08月_Aime_Perfect

原创 Spark的常见问题解析

1.输入这句话可以成功：①scala> val lines = sc.textFile("file:///home/hyxy/README.md")但是输入：②scala> lines.count 为什么会报错抛异常呢？Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md doe...

2018-08-27 22:00:11 404

原创 Hive和Spark设置队列的方法

Hive和Spark设置队列的方法Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。　　方法一：　　在Hive中，所有的默认配置都在${HIVE_HO...

2018-08-27 19:19:37 12714

原创 Spark简介以及Spark standalone的搭建

Spark 介绍------------------------------- 1.spark处理大数据的统一分析计算引擎； a.速度：在迭代循环的计算模型下，spark比Hadoop快100倍； b.易用性：spark提供多种语言的API，如Java、Python、Scala、R、SQL等 c.扩展性：在spark RDD基础上，提供一整套的分...

2018-08-27 14:33:41 397

原创新手！scala基础和注意事项

Scala简介------------------------------ 1.scala是面向对象的、面向函数的基于静态类型的编程语言。 2.安装Scala，版本选型2.11.8。原因：spark版本选型为2.1.2（最好是x.x.2版本），由scala2.11.8版本编译的注意：a.安装目录不能有“ ”(空格)出现，否则抛：主类找不到..... ...

2018-08-22 22:37:54 363

原创之前有jdk1.7想安装jdk1.8的正确步骤

一、首先安装jdk1.81）安装jdk应该没什么说的，值得注意的是，安装jdk1.8时需要填写两个安装路径，此时别慌，第一次是放jdk的，第二次是放jre的2）环境变量配置如下：下载JDK网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html按照对应系统的版本的位数，下载对应的版本的JDK环境...

2018-08-22 13:07:01 2680

原创 python常用命令干货（讲解+代码）

#定义列表，列表像数组一样，cast 为标识符（没有类型） cast = ["chinese","English","math","Music"]#像数组一样下标从0开始 print (cast[1])#len()输出列表的元素个数 print len(cast)#在末尾添加新元素 cast.append("History")#删除末尾的元素 cast.po...

2018-08-14 15:41:26 8776

原创集合框架

1.什么是集合？用来存储一堆数据的容器，不需要考虑容量问题，会自动扩容 2. Collection：集合的父类型，是一个接口。其中有两个子接口： List：有序可重复 ...

2018-08-12 13:15:52 178

原创 Hive的用法

hive 命令行-------------------------------- 1.定义变量： $>hive -d name=hyxy; //进入到客户端，并定义了变量为name，值为hyxy；作用域在hivevar下查看设置后的属性值： hive> set name; hive> set hive...

2018-08-08 06:29:46 1471

1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常；java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...

2018-08-08 06:20:57 2761

Aime123456789的博客