【大数据及云计算】
杰瑞26
架构师、脚本语言专家;精通Python,Shell,正则表达式;熟悉Java, C, Tcl, Ruby, Scala, Perl等多种编程语言,在性能,开源,硬件及自动化测试方面也有非常丰富的经验
展开
-
Perl中Schwartzian转换问题
Perl中著名的Schwartzian转换,其产生背景主要涉及到排序问题:比如说,根据文件名以字母顺序排序,代码如下:use strict;use warnings; my @files = glob "*.xml"; #perl中文件操作符glob提供相当于shell中的通配符的功能my @sorted_files = sort @files; #sort(),排序,默认是字母顺序排序比如说,根据文件名长度排序,其代码如下:use strict;use warni原创 2015-01-28 23:19:15 · 1178 阅读 · 0 评论 -
为什么有时候执行ls命令非常缓慢
在碰到系统资源紧张,海量文件的情况下,执行ls命令,特别是ls -laRt命令,会很慢,笔者就碰到在几百万~几千万个海量小文件的情况下,执行ls -laRt命令要花1分钟到数个小时的情况。这种情况因属正常,要解释为什么会这么慢,就必须先说明下Linux中的内部命令和外部命令【内部命令 VS 外部命令】内部命令:所谓内部命令是指写在bash源码里面的,其执行速度比外部命令快,因为解析原创 2016-04-30 11:16:36 · 14287 阅读 · 0 评论 -
scala学习初步
出于要处理进行大数据分析,听说scala就是做大数据分析和机器学习的,spark就是用scala开发的,百度上一输入scala后面就是大数据,一种基于JVM基础上开发的,一种类似于JAVA的编程语言,一种集合面向对象语言和函数式函数于一体的多范式编程语言。更有传言说,会成为下一代JAVA语言。更主要考虑自己要做大数据分析,OpenStack开源等方面的测试,必须对该门语言有比较深入的了解.原创 2016-05-01 10:27:49 · 819 阅读 · 0 评论 -
列表解析及生成器表达式的效率问题
列表解析(List Comprehensions),来自函数式的编程语言Haskell。是一个非常有用,简单而且灵活的工具,可以动态地创建列表。自Python2.0,列表开始加入到Python中,里面有lambda,map,filter等,使Python具备一个很重要的功能:函数式编程。使Python语言有了个革命性的发展.也提供用户一个强大工具,只用一行代码就可以创建包含特定内容的列表。其基原创 2016-04-18 05:48:53 · 2161 阅读 · 0 评论 -
Ubuntu使用vdbench批量创建目录和文件
Vdbench 是一个命令行实用程序,旨在生成用于验证存储性能和存储数据完整性的磁盘 I/O 负载。还可通过输入文本文件指定 Vdbench 执行参数,下面是使用vdbench批量创建目录和文件的示例1. 先利用wget下载vdbench,比如当前版本为:vdbench503.zip2. 再使用unzip命令解压缩, $ unzip vdbench503.zip -d /data/原创 2016-05-03 22:31:05 · 4863 阅读 · 0 评论 -
几种硬盘IO性能测试工具
【dd工具】操作系统: ubuntu 12.04 测试工具: dd 版本:8.21 执行dd --version来查看工具说明: dd命令能粗略测试硬盘IO性能不足:执行dd命令测试硬盘IO性能,对硬盘的损害很大,不建议多次或长时间尝试.测试命令: 1) 读测试 root@localhost:/# time dd if=/dev/sdf of=/dev原创 2016-08-23 21:10:39 · 22890 阅读 · 0 评论 -
Python中的itertools.imap与map的性能方面的对比
先来理解看下一段代码:>>> import itertools>>> for i in itertools.imap(lambda x,y:x*y, [10,20,30], itertools.count(1)):... print(i)...104090>>>第一段好理解,一个匿名函数,传递两个参数,返回两个参...原创 2018-10-20 11:46:01 · 3077 阅读 · 1 评论