云计算
文章平均质量分 60
易悠
事在人为
展开
-
Scala : Tuple、Array、Map、文件操作
Scala基础: Tuple 、Array 、Map 、文件操作原创 2015-07-13 11:18:05 · 662 阅读 · 0 评论 -
Scala-包、类、对象、成员、伴生类、伴生对象 访问权限
Scala 包、类、对象、成员 访问权限/** * Created by Administrator on 2015/10/13. */package spark{ package navigation{ private [spark] class Navigator{ protected[navigation] def useStarChart(){}原创 2015-10-16 16:50:03 · 1314 阅读 · 0 评论 -
Scala中的本地函数
定义本地函数示例 /** * 自定义数据处理函数 * @param fileName * @param width */ def processData(fileName:String,width:Int){ //定义本地函数-("内部/私有函数...") def processLine(line:String){ if(line.length>原创 2015-10-17 17:30:04 · 1140 阅读 · 0 评论 -
Scala中的 apply
Apply的应用实例package kmust.hjr.learningScala11/** * Created by Administrator on 2015/7/14. */class ApplyTest{ def apply()=println("I want to speak good english !") def haveATry: Unit ={ println(原创 2015-07-14 21:05:18 · 1129 阅读 · 0 评论 -
Error:scalac: IO error while decoding PackageOps.scala with UTF-8 Please try specifying another one
IDEA编码错误Error:scalac: IO error while decoding D:\Develop\Scala\IntelliJ IDEA Projects\scalaProjects\src\kmust\hjr\learningScala16\PackageOps.scala with UTF-8Please try specifying another one using the原创 2015-10-13 16:29:38 · 7879 阅读 · 1 评论 -
Scala中包的定义、嵌套、包对象、包的引用
1、 包的定义/** * 自定义Spark.navigation包 */package spark.navigation{ abstract class Navigator{ def act } package tests{ //在spark.navigation.tests包里定义一个类 class NavigatorSuite } package原创 2015-10-13 16:55:20 · 2468 阅读 · 0 评论 -
Hadoop2.6.3 安装配置
下载 解压Hadoop2.6.3 tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar -xzvf hadoop-2.6.3.tar.gz 新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mv hadoop-2原创 2016-01-10 17:47:03 · 2976 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4161 阅读 · 0 评论 -
ELK 开源实时日志分析平台部署安装
ELK 由 ElasticSearch 、 Logstash 和 KiabanaElasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。Logstash 是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。kibana 也是一个开源和免费的工具,他原创 2016-02-08 00:00:08 · 1290 阅读 · 0 评论 -
Spark1.6.0使用apache-maven-3.3.9编译详细记录
1. apache-maven-3.39安装配置1-1. 下载解压maven官方下载地址 http://maven.apache.org/download.cgi解压到指定目录:(我下载并解压到了E盘根目录) 1-2. 验证JAVA_HOME是否配置检查JAVA环境变量值:echo %JAVA_HOME% ok,这都没有问题。如果没有,则自行安装配置java环境变量,此处不再赘述,不过原创 2016-02-16 01:33:33 · 2373 阅读 · 0 评论 -
java.lang.IllegalArgumentException: System memory ... must be at least ... Please use a larger heap
java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.解决:设置应用程序的 VM optionsidea的设置路径在:Run -Edit Configurations-Application选择对应的程序,设置VM o原创 2016-02-17 02:30:19 · 19318 阅读 · 0 评论 -
Spark Streaming实战(二)
Spark Streaming实战原创 2016-03-27 19:17:06 · 531 阅读 · 0 评论 -
Spark Streaming实战(三)
Spark Streaming实战原创 2016-03-27 19:18:20 · 27434 阅读 · 0 评论 -
Spark2.0源码阅读环境搭建 开发环境搭建
Spark2.0源码阅读环境和Spark开发环境,我们选择使用IDEA社区版,所以下载IDEA社区版;并且使用Java8环境。1 jdk8安装下载略 解压到当前目录tar -xzvf jdk-8u101-linux-x64.tar.gz ………… 查看 移动到相应目录(自己新建的目录)mv jdk1.8.0_101 /home/hjr/develop/java82 IDEA 安装原创 2016-08-20 16:05:20 · 6429 阅读 · 2 评论 -
Spark1.6.0 on Hadoop-2.6.3 安装配置
安装配置Scala1 下载scala 下载解压scala包:略 附:下载链接 http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir /usr/local/scalamv scala-2.10.4 /usr/local/scala 2 配置scala环境变量export SCALA_HOME=/usr/l原创 2016-01-14 14:05:46 · 2170 阅读 · 0 评论 -
Hive 1.2.1 安装测试
1 安装MySQL安装服务器:sudo apt-get install mysql-server(注意:期间需要设置root用户的密码哟) 安装客户端:sudo apt-get install mysql-clientsudo apt-get install libmysqlclient-dev检查系统中是否有MySQL服务,出现下面的大概就是成功了sudo netstat -tap|g原创 2016-12-23 20:50:53 · 1692 阅读 · 0 评论 -
CDH5.9.0集群部署与搭建
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了…… 工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……1 下载CDH各种RPM包1.1 下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文原创 2016-11-23 20:59:55 · 13417 阅读 · 6 评论 -
Spark 临时记录
讯方实训平台 xunfangBD项目基础Jar包设置日志输出级别// import org.apache.log4j.{Level, Logger}Logger.getRootLogger.setLevel(Level.WARN)0 本地开Jar包添加 1 添加Spark源码,调试Spark程序可以参原创 2016-04-07 10:10:10 · 2002 阅读 · 0 评论 -
Spark MLlib 算法
Spark MLlib KMeans聚类算法http://blog.csdn.net/sunbow0/article/details/45673613Spark MLlib Statistics统计http://blog.csdn.net/sunbow0/article/details/45644273Spark MLlib FPGrowth算法http://blog.csdn.net/sunbow原创 2015-07-23 10:18:33 · 2115 阅读 · 0 评论 -
Scala中正则表达式以及与模式匹配结合
正则表达式 //"""原生表达 val regex="""([0-9]+)([a-z]+)""".r val numPattern="[0-9]+".r val numberPattern="""\s+[0-9]+\s+""".r模式匹配一 //findAllIn()方法返回遍历所有匹配项的迭代器 for(matchString <- numPattern原创 2015-10-17 15:45:51 · 16063 阅读 · 1 评论 -
Scala---文件读取、写入、控制台操作
Scala文件读取E盘根目录下scalaIO.txt文件内容如下: //文件读取 val file=Source.fromFile("E:\\scalaIO.txt") for(line <- file.getLines) { println(line) } file.close说明1:file=Source.fromFile(“E:\sca原创 2015-10-16 20:26:13 · 43239 阅读 · 0 评论 -
For循环与Function函数 进阶
Scala : For循环与Function函数进阶原创 2015-07-13 15:52:13 · 3306 阅读 · 0 评论 -
Scala数组操作
数组基本操作(1)val s=Array("Hello","World")s(0)="Goodbye"for(elem <- s)println(elem)在Scala Worksheet里面的执行结果:s: Array[String] = Array(Hello, World)res0: Unit = ()GoodbyeWorldres1: Unit = ()注:将字符串“Goodby原创 2015-07-13 21:57:02 · 3419 阅读 · 0 评论 -
Scala : Map、Tuple、Zip
Map操作(1)val map=Map("Spark"->30,"Scala"->50,"BigData"->80)for((k,v)<-map)yield(k,v*0.9)map: scala.collection.immutable.Map[String,Int] = Map(Spark -> 30, Scala -> 50, BigData -> 80)res0: scala.collec原创 2015-07-14 14:37:40 · 919 阅读 · 0 评论 -
Scala:类的属性、对象私有属性
类的基本操作(1)package kmust.hjr.learningScala07/** * Created by Administrator on 2015/7/14. */class Person { private var age=0 /* *['inkrim(e)nt] increase/growth/rise */ def increment(): Unit原创 2015-07-14 16:35:02 · 3010 阅读 · 0 评论 -
Scala:内部类
内部类说明:java中:内部类纯属于类的—(new)//外部类class Out { private int age = 12; //内部类 class In { public void print() { System.out.println(age); } }}public class Demo { public原创 2015-07-14 19:40:22 · 865 阅读 · 0 评论 -
Scala : 单例对象、伴生类、伴生对象
单例对象、伴生类、伴生对象单例对象Scala是没有Static静态对象和属性的,但他拥有伴生对象(类似)伴生类 学习:探索Scala(3)单例对象 http://m.blog.csdn.net/blog/SpiderDog/40426987伴生对象(Object ClassName)伴生对象,与类共享名字,可以访问类的私有属性和方法 通常,一个类对应一个伴生对象package kmus原创 2015-07-14 20:23:26 · 648 阅读 · 0 评论 -
Scala中的继承:超类的构造、重写字段、重写方法
Person1类package kmust.hjr.learningScala12/** * Created by Administrator on 2015/7/14. */class Person1(val name:String,var age:Int){ println("The primary constructor of Person1 !") val school="KMU原创 2015-07-14 21:53:50 · 3835 阅读 · 0 评论 -
抽象类、抽象字段、抽象方法
实例package kmust.hjr.learningScala13/** * Created by Administrator on 2015/7/14. */class AbstractClassOps{ var id:Int=_}abstract class SuperTeacher(val name:String){ var id :Int var age :Int原创 2015-07-14 22:19:27 · 1385 阅读 · 0 评论 -
《Docker源码分析》作者:孙宏亮
Docker源码分析(一):Docker架构http://www.infoq.com/cn/articles/docker-source-code-analysis-part1/原创 2015-08-23 00:24:10 · 2792 阅读 · 0 评论 -
Scala:基于trait的多重继承构造器的执行顺序、基于trait的AOP实践
多重继承package kmust.hjr.learningScala15/** * Created by Administrator on 2015/7/20. */class Human{ println("Human")}trait TTeacher extends Human{ println("TTeacher") def teach}trait Piano原创 2015-07-21 00:30:41 · 859 阅读 · 0 评论 -
Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)
Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)http://blog.csdn.net/sunbow0/article/details/47007765http://blog.csdn.net/sunbow0/article/details/47007831http://blog.csdn.net/sunbow0/原创 2015-07-23 10:02:53 · 938 阅读 · 0 评论 -
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)(1)http://blog.csdn.net/sunbow0/article/details/46377785(2)http://blog.csdn.net/sunbow0/article/details/46378031(3)http://blog.csdn.net/sunbow原创 2015-07-23 10:05:54 · 844 阅读 · 0 评论 -
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)(1)http://blog.csdn.net/sunbow0/article/details/46126479(2)http://blog.csdn.net/sunbow0/article/details/46126557(3)http://blog.csdn.net/sunbow0/article/de原创 2015-07-23 10:10:46 · 1152 阅读 · 0 评论 -
基于Spark构建推荐引擎
基于Spark构建推荐引擎之一:基于物品的协同过滤推荐http://blog.csdn.net/sunbow0/article/details/42737541Spark构建推荐引擎之二:基于Spark Streaming 实时推荐计算http://blog.csdn.net/sunbow0/article/details/43456805 学习转载:http://blog.csdn.net/s原创 2015-07-23 10:23:11 · 1478 阅读 · 0 评论 -
Spark Streaming
Spark Streaming之一:StreamingContext解析http://blog.csdn.net/sunbow0/article/details/42966467Spark Streaming之二:DStream解析http://blog.csdn.net/sunbow0/article/details/43091247 学习转载:http://blog.csdn.net/sun原创 2015-07-23 10:25:01 · 553 阅读 · 0 评论 -
Spark SQL
Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761 学习转载:http://blog.csdn.net/sunbow0/article/list/2原创 2015-07-23 10:27:29 · 576 阅读 · 0 评论 -
Spark SQL
标题MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O,降低的运行效率原创 2015-08-31 17:09:06 · 603 阅读 · 0 评论 -
Pima印第安人数据集上的机器学习-分类算法(根据诊断措施预测糖尿病的发病)
数据集简介该数据集最初来自国家糖尿病/消化/肾脏疾病研究所。数据集的目标是基于数据集中包含的某些诊断测量来诊断性的预测 患者是否患有糖尿病。从较大的数据库中选择这些实例有几个约束条件。尤其是,这里的所有患者都是Pima印第安至少21岁的女性。数据集由多个医学预测变量和一个目标变量组成Outcome。预测变量包括患者的怀孕次数、BMI、胰岛素水平、年龄等。1 加载库imp...原创 2018-04-02 16:49:37 · 21926 阅读 · 10 评论