2017年05月_imarklei

原创 Spark集群环境搭建

一、开发工具JAVA：JDK(Oracle官网最新版)Hadoop(Version:2.7.3)Spark(Version:2.1.1)VirtualBoxScala(Vesion:2.1.12)Ubuntu(Vesion:16.04)二、Linux基本配置VirtualBox安装UbuntuUbuntu下切换到rootsudo passwd //设置roo

2017-05-31 15:41:25 2372 1

原创 Scala_(5)_隐式转换|并发编程

一、隐式转换1.语法：implicit def xxxToxxx()代码1：class Person(val name : String)class Engineer(val name : String, val salary : Double){ def code = println("coding.....")}implicit def person2Eng

2017-05-18 15:13:05 636 1

原创 Scala_(4)_模式匹配

一、Scala模式匹配源码：Master①def bigdata(data：String){data match{case "Spark" => print("")case "Hadoop" =>print("")case _ => print("")}}②def bigdata(data：String，age：Int){

2017-05-18 15:11:36 368 1

原创 Scala_(3)_函数式编程

一、Scala函数式编程1.函数定义及赋值给变量def fun1(name : String){printf("test")}// 函数定义fun1 : (name：String) Unitval fun1_v = fun1 _ //函数赋值给变量fun1_v ：String => Unit = 2.匿名函数val fun = (conten

2017-05-18 15:10:11 298

原创 Scala_(2)_面向对象

1.类class HiScala{private var name="Spark"def sayName(){...}def getName = name}创建实例：new HiScala暴露get 方法的两种方式：①class HiScala{private var myName = "flink"

2017-05-18 10:11:30 257

原创 Scala_(1)_基础

1.函数sum(1 to 100:_*)// 提取出1-100中的所有元素,并实现sum操作2.lazy只有在初次运行时调用如：lazy val content = fromFile(path)3.集合val arr = new Array[Int](5)4.高阶函数arr.filter(_%2 == 0).map(i =>i * i

2017-05-18 10:10:07 513

转载 Python之Requests模块使用详解

Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。一、导入下载完成

2017-05-17 14:24:52 12406 2

在路上