- 博客(19)
- 资源 (7)
- 收藏
- 关注
原创 android 环境配置 ubuntu 14.04 64位
1.下载adt-bundle-linux-x86_64-20131030.zip 2.path环境变量设置 3.创建项目 r can't be resolved to a variable android 4.4 下载32位相关包报错 apt-get install ia32-libs 阿里云源, 改更新源sudo gedit /etc/apt/sources.list, deb...
2015-08-14 08:26:00
95
原创 MapReduce类型与格式
MapReduce类型 map:(k1,v1)->(k2,v2) reduce(k2,list(v2))->list(k3,v3) public interface Mapper extends JobConfigurable,Closeable{ void map(K1 key,V1 value,OutputCollector output,Reporter reporter)
2015-05-08 13:31:38
544
原创 MR小记
小文件问题CombineFileInputFormat子类CombineTextInputFormat,可以减少map数,但是不能本地化,因此内存资源充足的情况下,CombineFileInputFormat减少map数,不一定会增加MR性能。压缩问题采用压缩文件,需要考虑压缩后文件的大小与hdfs块大小的关系,因为有些压缩算法本身是不可分的,如果压缩后文件是多块的,会造成map不能本地化。 压缩
2015-05-08 12:28:09
336
原创 PIG 使用小记
pig手册三目运算符? type1:type2 type1和2 类型一致,空用null,Unsupported input type for BinCond: left hand side: chararray; right hand side: long
2015-04-30 16:15:44
416
原创 sqoop 使用小计
HIVE导出空值\N ,sqoop 导入数据库中时,可能\N字符串无法转换对应类型–input-null-non-string \N –input-null-string \Nsqoop导入的时候会生成queryresult.jar–class-name jarName经常遇见的split数量不对问题,combineinputformat-D mapreduce.job.max.split.lo
2015-03-04 19:51:11
1005
原创 eclipse 那些有用的快捷键
eclipse 那些有用的快捷键shift+alt+m 抽取方法,方便,参数自动生成 ctrl+k find的next 无须复制 ctrl+alt+向下方向 向下复制选中代码,不影响当前复制的内容 ctrl+e ctrl+o
2015-03-04 15:33:21
412
原创 java调试整理
常用参数显示查找 java -? java -X 非标准参数 java -XX:+PrintFlagsFinal 非稳定参数 jdk1.6 update 21之后 jps -l主类全名 -v jvm参数 jstat -class 类装载耗时 -gc java堆状况 -gcutil 百分比显示 -gccause 上次gc原因 eg.:jstat -gcutil -h20
2013-09-08 18:42:55
491
原创 ubuntu10.10 eclipse编译hadoop1.0.X
参照http://wiki.apache.org/hadoop/EclipseEnvironment eclipse、git、maven下载略 $ mvn install -DskipTests $ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true 1、报错 *********** [INFO]
2012-07-01 10:55:25
1121
转载 jstack:JAVA堆栈跟踪工具
jstack命令格式 jstack | option | vmid -F 当正常输出的请求不被响应时,强制输出线程堆栈 -l 除堆栈外,显示关于锁的附加信息 -m 如果调用到本地方法的话,可以显示c/c++的堆栈 jps 显示java进程 根据vmid jstack vmid显示堆栈
2012-06-20 22:18:27
829
原创 hadoop 问题 copyFromLocal: java.io.FileNotFoundException: Parent path is not a directory: /user/admini
----配置----- dfs.name.dir /home/administrator/hadoop/hdfs/name dfs.data.dir /home/administrator/hadoop/hdfs/data ---与这个配置估计有关系,貌似是目录问题--- - ------------命令---------- hadoop fs -co
2012-06-18 23:10:25
5357
原创 hadoop 问题
-----------配置------------------- hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmp fs.default.name hdfs://localhost/ mapred.job.tracker localhost:8021 -------------
2012-06-18 23:08:11
1005
原创 默默耕耘2 hadoop
namenode没有启动log报错 Directory /tmp/hadoop-administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. ubuntu tmp目录问题 在hdfs-site.xml中添加,新建hadoop目录 dfs
2012-04-20 21:38:46
279
原创 默默耕耘1 hadoop
hadoop in action ubuntu 下ssh localhost connect to host localhost port 22:Connection refused which sshd找不到 没有server 安装 sudo apt-get install openssh-server ssh localhost 成功
2012-04-19 21:43:24
253
参加IBM笔试了
今天到中科院参加了IBM实习生笔试,感触很多。 第一,与考试无关的。参加笔试的人每个人的心情不一样,面对笔试有些人只是想尝试一下,有些人则报以很高的期望。我吗,实事求是,差距太大,最重要的就是英语太差了,做题速度太慢,着急不能稳稳的答题。面对前面的能力测试准备不够充足导致刚刚开始就把题答错了,这两点都需要自省一下。实际上本科生本来是没有机会的,能过与汤等研究生一起参加已经是莫大的荣幸了,但...
2009-05-24 22:11:46
95
a different object with the same identifier value
两次遇到这个问题a different object with the same identifier value 第一次是要修改数据库里的记录,因为之前已经将该条记录取到了session缓存中,用update(游离态对象)方法时发生错误,一个游离态对象和一个持久态对象,具有相同OID,因此报错。 解决办法用merge(游离态对象),该方法应该是根据游离态对象的OID,执行select语句...
2009-04-07 21:16:34
86
struts2.0首页路径问题
做开发没怎么做过页面,这几天试了试,出现了错误 我将首页设置在一个文件夹下reader了,从该页提交登录action,返回的result结果地址中,包含该文件夹的地址,例如struts.xml中是result为success.jsp,实际是转到./reader/success.jsp。但是当在success.jsp中提交注销action时,虽然struts.xml中result为index.j...
2009-03-22 12:56:50
131
原创 刚刚开始学习struts
这两天在学习struts,发现这东西确实是很好,但是有点感觉越来越像。NET的自动化。可能是学的还不过深入。努力呀!!!!!!!嘎嘎
2008-09-30 10:26:00
335
w3school.CHM
2011-05-08
Ubuntu入门教程.chm
2010-01-22
lucene in action 2
2010-01-22
Linux命令全集 常用
2008-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人