关闭

移除ArrayBuffer中第一个负数后的所有负数

import scala.collection.mutable.ArrayBuffer object test4 { def main(args: Array[String]) { //需求:移除下列可变数组中的第一个负数之后的所有负数 val a =ArrayBuffer[Int]() a+=(1,2,3,4,-1,-3,-9,-4) var foundFi...
阅读(28) 评论(0)

Scala算法

为了练习scala,特地从网上找来Java经典问题算法大全,用scala来实现,记录于此。 /*【程序1】 题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少? 1.程序分析: 兔子的规律为数列1,1,2,3,5,8,13,21.... */ 方法1: [java] view...
阅读(43) 评论(0)

scala 求100-200质数 ,杨辉三角

1. 100-200 质数import scala.math object test1 { def main(args: Array[String]):Unit={ def isPrime(p:Int):Boolean={ for (i <- 2 to math.sqrt(p).toInt) { if(p % i ==0){ retur...
阅读(286) 评论(0)

01_Scala基础语法

object demo01 { def main(args: Array[String]) { // print("Hello World!!!") // val x1:Int=112313 可以自动推断类型 // val x=10// lazy 只能修饰变量 // 优点 可以直接用于字符串拼接 优于Python // print("dfs"+"fgd"...
阅读(22) 评论(0)

Pycharm 添加脚本的头信息模板

...
阅读(43) 评论(0)

阿里云Maven仓库地址

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror mirror> id>nexus-aliyunid> mirrorOf>*mirrorOf> name>Nexus aliyunname> url>http://maven.aliyun.com/nexus/content/g...
阅读(43) 评论(0)

Flume讲解

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先...
阅读(71) 评论(0)

正则表达式基本用法

正则表达式:符合一定规则的表达式,用特定符号来表达一些代码。     特点:用于一些特定的符号来表示一些代码操作,这样可以简化书写     作用:专门用于操作字符串。     优点:可以简化对字符串的复杂操作。     缺点:符号定义越多,正则表达式越长,阅读性越差 正则表达式的构造摘要 1. 字符         \\                 反...
阅读(327) 评论(0)

Hive中join的三种方式

hive在实际的应用过程中,大部份分情况都会涉及到不同的表格的连接,例如在进行两个table的join的时候,利用MR的思想会消耗大量的内存,良妃磁盘的IO,大幅度的影响性能,因为shuffle真的好令人担心啊,总之,就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式 第一:在map端产生join          mapJoin的主要意思就是,当链接的两个表是一个...
阅读(121) 评论(0)

hive数据倾斜调优

HIVE 数据倾斜调优总结 在做Shuffle阶段的优化过程中,遇 到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些 Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段 的,map处理数据量的差异取决于上一个s...
阅读(75) 评论(0)

HDFS数据安全性如何保证

HDFS数据安全性如何保证 1)、存储在HDFS系统上的文件,会分割成128M大小的block存储在不同的节点上,block的副本数默认3份,也可配置成更多份; 2)、第一个副本一般放置在与client(客户端)所在的同一节点上(若客户端无datanode,则随机放),第二个副本放置到与第一个副本同一机架的不同节点,第三个副本放到不同机架的datanode节点,当取用时遵循就近原则; ...
阅读(345) 评论(0)

hadoop2.x与Hadoop1.x区别

hadoop2.x与Hadoop1.x区别: (1)2.x比1.x从性能上有很大增强 (2)Hadoop1中的JobTracker是一个功能集中的部分,负责资源的分配和任务的分配,所以JobTracker单点出问题就会造成整个集群无法使用了,而且MapReduce模式是集成在Hadoop1中,不易分解;Hadoop2中,ResourceManager(RM)就是负责资源的分配,Nod...
阅读(425) 评论(0)

hadoop案例分析(三)

随笔 - 270  文章 - 1  评论 - 1341 Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析 网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.htm...
阅读(65) 评论(0)

hadoop案例分析(二)

Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗 网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:当前页面 网站日志分析项目案例(三)统计分析:http://www.cnblogs.com/edisonchou/p/4464349.html 一...
阅读(33) 评论(0)

hadoop网站日志分析(一)

Hadoop学习笔记—20.网站日志分析项目案例(一)项目介绍 网站日志分析项目案例(一)项目介绍:当前页面 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例(三)统计分析:http://www.cnblogs.com/edisonchou/p/4464349.html 一、项...
阅读(1100) 评论(0)
62条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:5981次
    • 积分:481
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:7篇
    • 译文:0篇
    • 评论:0条
    文章分类