Spark的常见问题解析

1.输入这句话可以成功:①scala> val lines = sc.textFile("file:///home/hyxy/README.md") 但是输入:②scala> lines.count      为什么...

2018-08-27 22:00:11

阅读数 53

评论数 0

Hive和Spark设置队列的方法

                                     Hive和Spark设置队列的方法 Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数...

2018-08-27 19:19:37

阅读数 1447

评论数 0

Spark简介以及Spark standalone的搭建

Spark 介绍 -------------------------------     1.spark处理大数据的统一分析计算引擎;        a.速度:在迭代循环的计算模型下,spark比Hadoop快100倍;        b.易用性:spark提供多种语言的API,如Java、Pyt...

2018-08-27 14:33:41

阅读数 37

评论数 0

新手!scala基础和注意事项

Scala简介 ------------------------------     1.scala是面向对象的、面向函数的基于静态类型的编程语言。     2.安装Scala,版本选型2.11.8。原因:spark版本选型为2.1.2(最好是x.x.2版本),由scala2.11.8版本编译的 ...

2018-08-22 22:37:54

阅读数 39

评论数 0

之前有jdk1.7想安装jdk1.8的正确步骤

一、首先安装jdk1.8 1)安装jdk应该没什么说的,值得注意的是,安装jdk1.8时需要填写两个安装路径,此时别慌,第一次是放jdk的,第二次是放jre的 2)环境变量配置如下: 下载JDK 网址:http://www.oracle.com/technetwork/java/javas...

2018-08-22 13:07:01

阅读数 852

评论数 0

python常用命令干货(讲解+代码)

#定义列表,列表像数组一样,cast 为标识符(没有类型)     cast = ["chinese","English","math","Music"]...

2018-08-14 15:41:26

阅读数 720

评论数 0

集合框架

   1.什么是集合?用来存储一堆数据的容器,不需要考虑容量问题,会自动扩容    2. Collection:集合的父类型,是一个接口。                        其中有两个子接口:                                               ...

2018-08-12 13:15:52

阅读数 28

评论数 0

Hive的用法

hive 命令行 --------------------------------    1.定义变量:       $>hive -d name=hyxy;    //进入到客户端,并定义了变量为name,值为hyxy;作用域在hivevar下       查看设置后的属性...

2018-08-08 06:29:46

阅读数 337

评论数 0

Hive出现的问题汇总

1.出现问题的前提条件:我在Hive中创建一个表然后想向表中插入数据,每次插入数据都会出现如下异常; java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit applicatio...

2018-08-08 06:20:57

阅读数 351

评论数 0

需掌握的java的熟悉操作

                                         需掌握的java的熟悉操作jdk工作空间的配置:(一般用自己安装的jdk,系统自带的环境可能太大,有第三方插件)    在Myeclipce中点击window-->Preferences--&a...

2018-06-12 07:23:35

阅读数 53

评论数 0

搭建hadoop集群(先搭伪分,再搭全部)

                            搭建hadoop集群(先搭伪分,再搭全部)hadoop伪分布搭建流程(都是在普通用户下)----------------------------   一)关闭防火墙: chkconfig ...

2018-05-28 11:36:05

阅读数 249

评论数 0

存在的疑惑

1.ArrayList和LinkedList有什么区别?    答:1.ArrayList是实现了基于动态数组的数据结构,LinkedList基于链表的数据结构。           2.对于随机访问get和set,ArrayList觉得优于LinkedList,因为LinkedList要移动指针...

2018-05-24 19:04:01

阅读数 44

评论数 0

学习笔记

hadoop伪分布搭建流程----------------------------   1.通过挂在上传软件至/home/hyxy/soft       $>cp jdk1.8.XXX.tar.gz ~/soft       $>cp hadoop.2....

2018-05-21 16:09:02

阅读数 43

评论数 0

详细教你搭建伪分布式hadoop集群

                                                                                            详细教你搭建伪分布式hadoop集群 1. Apache™Hadoop®项目为可靠的(hadoop能自动地维护数据...

2018-05-19 17:23:29

阅读数 93

评论数 0

详细教你在Centos中搭hadoop2.7.3、jdk集群(新手必看),按照教程,就可以轻松搭成

              详细教你在Centos中搭hadoop2.7.3、jdk集群前提准备:三台创建好的Centos6.5服务器,主机名和ip地址分别为:master:192.168.152.137                                               ...

2018-05-17 17:22:01

阅读数 202

评论数 1

Shell编程

                                   Shell编程Shell环境Linux的Shell种类众多,常见的有:人们并不区分前两个所以/bin/sh可以写成/bin/bash        Bourne  Shell(/usr/bin/sh或/bin/sh)      ...

2018-05-06 07:14:04

阅读数 52

评论数 0

在Centos中配置环境的方法步骤和安装软件得两种方法,yum/rpm

                               在Centos中配置jdk环境和安装tomcat的方法步骤配置前的准备      在配置环境之前安装好SSH Secure File Transfer Client(传输文件)和SSH Secure Shell Client(远程控制服...

2018-05-04 20:37:10

阅读数 97

评论数 0

文本编辑器Vim/Vi

                                                                       文本编辑器Vim/ViVim/Vi简介         Vim/Vi是一个功能强大的全屏幕文本编辑器,是Linux/Unix 上最常用的文本编辑器,它的作用...

2018-05-02 15:35:28

阅读数 41

评论数 0

Linux的基础常用命令

                Linux的基础常用命令                 文件命名规则        1)最好不要用特殊字符             2)Linux区分大小写(这一点和windows不同,windows不区分大小写) 格式命令             1...

2018-04-21 22:32:24

阅读数 98

评论数 1

如何在VMware中安装CentOS 6.5版

                                                    如何在VMware中安装CentOS 6.5版1.     点击创建新的虚拟机:2.     选择典型,再点击下一步3.     选择稍后安装操作系统,点击下一步4.     客户操作系统选择L...

2018-04-19 21:34:09

阅读数 556

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭