- 博客(11)
- 资源 (38)
- 收藏
- 关注
原创 liunx修改文件句柄数
命令ulimit -n是查看句柄数修改文件/ect/security/limit.conf里的内容进行修改。格式如下:# /etc/security/limits.conf##Each line describes a limit for a user in the form:## ##Where:# can be:#
2012-02-28 10:06:11 1289 2
原创 服务与接口的区别
最近在复习网络相关知识时,看到服务与接口的概念。其中说到一点TCP模型的不足之处,就是TCP/IP模型里的其中一层是网络接口层,此接口层不同于正常意义的层,仅仅只是接口而已。以前看的时候,并没注意到这个差别,现在细想起来,所谓接口,其实简单的提供上层调用,然后下层去实现。而服务,看似跟接口差不多,也是提供相关接口供上层调用,但是服务会去自己实现相关的处理,而不是简单的调用方法的跳转,不
2012-02-27 18:28:02 12184
转载 hadoop Capacity Scheduler 完整配置
配置hadoop的调度器和队列(目前没用过,先放着,以备后患)mapred-site.xmlmapred.job.tracker0.0.0.0:9003mapred.jobtracker.taskSchedulerorg.apache.hadoop.mapred.CapacityTaskScheduler
2012-02-23 15:55:35 3568
原创 hive运行时Job initialization failed: java.io.IOException: Filesystem closed
最近运行一次读多次写的hiveSQL语句出现了一个新问题,如图: 在hadoop的mapreduce管理页面里,报错如下信息如图:目前暂时无解中……………………奇怪同一个SQL语句出现如此问题,有待观察!对于此问题,是因为Filesystem 是一个single 对象,当设置了JVM重用这个参数后,那么就会出现之前一个任务运行完成后,会关闭这个Filesystem,
2012-02-22 17:39:11 8100
原创 hadoop清理回收站
Hadoop回收站trash,默认是关闭的。 修改conf/core-site.xml,增加 property> name>fs.trash.intervalname> value>3value> description>Number of minutes between trash checkpoints. If zero, the tras
2012-02-21 16:08:52 13114
原创 hive运行报Call to master/**.** failed on local exception: java.nio.channels.ClosedByInterr
最近在运行hive任务时,会很频繁的报此错误信息,如下:原因是连接不上namenode的8020端口,此端口是hdfs的端口配置,导致原因如下:就是运行一个SQL语句一次读6次写入不同表的任务导致。解决方式:将该SQL语句,进行拆分。测试5次后,不再出现这种情况。目前该问题还没得到彻底解决。等待…………通过几天的观察发现,与IPC的相关参数设置有关,通过查看hado
2012-02-20 14:29:25 5872 4
原创 hive使用心得
最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了),当时使用的0.8的版本(现在最新版本是0.8.1),一个多月下来收获很多。从安装环境、调试、开发、业务理解、技术攻关、业务实现等,一一都体验了一把!总的来说,除了目前网上所介绍的常规hive使用和优化外。因为目前hive只支持0.20的相关版本,所以我们的环境还是使用的0.20版本的hadoop来进行搭建。使用hiv
2012-02-18 11:45:06 23421 11
转载 MySQL创建用户与授权
一, 创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明:username - 你将创建的用户名, host - 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost, 如果想让该用户可以从任意远程主机登陆,可以使用通配符%. password - 该用户的登陆密
2012-02-14 13:18:43 92 1
原创 关于hadoop配置hosts文件的问题
在之前的一篇blog里,写到我的python脚本无法正常运行,后来是修改了hosts文件,今天有个同事又重新讲解了下问题,发现之前的理解有误差。这里在介绍一下另外一种方式,就是在每台机器的hosts文件增加全部的主机名和IP地址。对应linux系统,修改/etc/hosts文件,在全部hadoop环境下的全部机器都增加机器名和IP地址,内容如下:10.200.187.77
2012-02-14 11:23:59 7331 4
原创 hive的优化方式
hive相关优化方式:Column PruningAs name suggests -discard columns which are not needed> select a,b from t where e>t contains 5 columns (a,b,c,d,e)Columns c,d are discardedSelect only
2012-02-13 10:45:37 5106
原创 关于java并行程序开发重点
最近在运用hadoop做分布式运算,随便也对java的并行计算框架进行复习,特总结下心得。java的并行计算框架就是Fork/Join模式,关于使用模式很简单,这里主要是关注相关关键因素。第一就是Times,运行的次数,每秒运行次数。第二就是speedups和task rates,就是加速度和每秒执行任务频率。第三就是Garbage Collection,就是GC回收效率。第四
2012-02-06 16:24:59 2809 8
J2EE Connector Architecture and Enterprise Application Integration
2009-03-22
Pattern-Oriented+Software+Architecture_resource.management3
2009-01-03
SWT.The.Standard.Widget.Toolkit.Volume.1
2008-12-09
Pattern-Oriented+Software+Architecture_resource.management
2008-11-22
Java-Concurrency-in-Practice
2010-02-01
iPhone Open Application Development
2010-01-30
Database Porgramming With Jdbc And Java 2nd Edition
2009-11-07
Java™ Performance and Scalability Volume 1
2009-10-08
Pattern.Oriented.Software.Architecture.Volume.4
2009-09-05
Game.Programming.with.Python.Lua.And.Ruby
2009-08-25
Parsing Techniques - A Practical Guide
2009-08-15
Modern Compiler Implementation in Java Second Edition
2009-08-09
Garbage Collection Algorithms For Automatic Dynamic Memory Management
2009-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人