- 博客(19)
- 资源 (1)
- 收藏
- 关注
原创 Linux Shell自动交互
#!/usr/bin/expectset timeout 30spawn ssh -l root 192.168.1.117expect "password:"send "nopasswd/r"interact================================set timeout 30设置超时时间的,计时单位:秒 这样的shell脚本只能是./test.sh 方式...
2014-08-29 11:58:39 82
原创 shell判断和比较
shell判断和比较1 shell 的$! ,$?, $$,$@ $n $1 the first parameter,$2 the second...$# The number of command-line parameters.$0 The name of current program.$? ...
2014-08-28 10:47:41 106
原创 Mapreduce多目录/多文件输出
Mapreduce多目录/多文件输出 一,介绍1,旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputsMultipleOutputFormat allowing to write the output data to differe...
2014-08-28 10:34:19 588
原创 探索Hadoop OutputFormat
OutputFormats是做什么的?OutputFormt接口决定了在哪里以及怎样持久化作业结果。Hadoop为不同类型的格式提供了一系列的类和接口,实现自定义操作只要继承其中的某个类或接口即可。你可能已经熟悉了默认的OutputFormat,也就是TextOutputFormat,它是一种以行分隔,包含制表符界定的键值对的文本文件格式。尽管如此,对多数类型的数据而言,如再常见不过的数字...
2014-08-28 10:21:15 75
原创 MapReduce设置参数防止超时
MapReduce设置参数防止超时1. 如果碰到异常“Task attempt failed to report status for xxx seconds. Killing!”,最可能是碰到死循环了。2. 如果没有死循环:控制超时的属性是:mapred.task.timeout,默认600000ms,即600s。可以设置成更大的值。可以直接在Jobconf或Configurat...
2014-08-27 14:47:33 266
原创 开发MapReduce常见问题
(1)当你把一个文件加入distribution cache的时候,要注意:如果你是以addCacheFile()的方式添加的,而你在mapper中取出来的时候,却是以archive的方式取出来——getLocalCacheArchives(),那么,你将得不到cache文件的路径,因为放进去和取出来的方式要一致。(2)在mapper中获取当前正在处理的HDFS文件名/HDFS目录名有...
2014-08-27 14:10:12 298
原创 vim全局替换命令
vim全局替换命令语法为 :[addr]s/源字符串/目的字符串/[option]全局替换命令为::%s/源字符串/目的字符串/g[addr] 表示检索范围,省略时表示当前行。如:“1,20” :表示从第1行到20行;“%” :表示整个文件,同“1,$”;“. ,$” :从当前行到文件尾;s : 表示替换操作[option] : 表示操作类型如:g 表示全...
2014-08-27 12:08:23 79
原创 Yarn的JVM重用功能——uber
Yarn的JVM重用功能——uber在文章开头,我想先做几点说明:1、本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析,并且我也将我的分析发给了Hadoop community, 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。2、本文中uber的配置部分,主要参考之前Hadoop开发者的...
2014-08-27 10:55:24 77
原创 hive基本用法
DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件(正则表达...
2014-08-26 12:19:08 83
原创 vim 下块注释
vim下1.插入注释:用v进入virtual模式 用上下键选中需要注释的行数 按Control+v进入列模式 按大些“I”进入插入模式,输入注释符“#”,然后立刻按下ESC 2.删除注释 先按Control+v进入列模式 按光标键选中需要删除的注释符 按x键删除 为了便于选取文本,VIM 引入了可视(Visual)模式。要选取一段文本,首先将光标移到段首,在...
2014-08-23 16:16:58 145
原创 firefox相关设置及有用插件
firefox 29后。就没有了状态栏1.安装状态栏 添加原firefox 自带的状态栏 https://addons.mozilla.org/zh-cn/firefox/addon/the-addon-bar/ 这个是网友扩展 http://mozilla.com.cn/addon/47-extended-statusbar/ 加强版状态栏-Ext...
2014-08-23 10:13:56 132
原创 Shell中字符串分割的三种方法
Shell中字符串分割的三种方法分类: Linux2013-05-13 21:17 6296人阅读 评论(0) 收藏 举报问题:对于’1,2,3,4,5’这样的字符串输出采用,分隔开的1 2 3 4 5特征:在字符串中没有空格解决方法1: [plain] view plaincopy #!/bin/bash var=’1...
2014-08-22 11:26:15 514
原创 storm模块结构和api对应关系
storm模块结构和api对应关系 (2012-02-28 23:00:16)转载▼标签: 杂谈 TopologyContext context, 记录了component和task的对应关系 一个component(如图)包含了若干task,每一个task有一个全局唯一的id, 这个id用于定位zmq的目标和来源 cont...
2014-08-15 18:37:24 197
原创 JVM内存模型以及垃圾收集策略解析(1)
JVM内存模型以及垃圾收集策略解析博客分类: Java SEJVM应用服务器多线程SUN配置管理 VM内存模型1.1 Java栈Java栈是与每一个线程关联的,JVM在创建每一个线程的时候,会分配一定的栈空间给线程。它主要用来存储线程执行过程中的局部变量,方法的返回值,以及方法调用上下文。栈空间随着线程的终止而释放。StackOverflowError...
2014-08-15 15:59:45 72
原创 JVM内存模型以及垃圾收集策略解析
JVM内存模型以及垃圾收集策略解析【续】博客分类: Java SEJVMCMS网络应用多线程应用服务器 今天接着补全上篇博文。三 垃圾收集策略配置3.1 吞吐量优先吞吐量是指GC的时间与运行总时间的比值,比如系统运行了100分钟,而GC占用了一分钟,那么吞吐量就是99%,吞吐量优先一般运用于对响应性要求不高的场合,比如web应用,因为网络传输本...
2014-08-15 15:54:17 87
原创 top得到的cpu几个值到底是什么含义?
top得到的cpu几个值到底是什么含义? 2010-11-17 17:19:46分类: LINUX Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st 一直不太明白,原来这样的:现代分时多任务操作系统,cpu使用时分时段来,比如某个时段A进...
2014-08-15 15:41:20 1345
原创 mysql 设置字符集
执行SET NAMES utf8。其效果等同于同时设定如下:SET character_set_client='utf8';SET character_set_connection='utf8';SET character_set_results='utf8';
2014-08-12 15:29:28 90
原创 resteasy helloword程序
RESTEasy 例子 hello world(两种方法)博客分类: Java-高级 转载自http://zorro.blog.51cto.com/2139862/874953 修改了原文部分错误(web.xml文件中和第二种方法) RestEasy, Jboss项目的JAX-RS参考实现。 1. 技术和工具: RESTEasy 2.2.1.G...
2014-08-08 10:18:00 142
原创 eclipse打开文件展开相应的目录
eclipse打开文件展开相应的目录左侧explore上,有个双向的箭头,点一下,就会把路径和当前文件自动对应。
2014-08-07 11:13:39 1002
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人