- 博客(16)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 未解决问题_客户端在 RPC 调用时阻塞
测试一个扩展 Log4j 的 Appender 时，与服务器通信时程序就没反应了，不报错，不返回具体在引发RPC 调用的地方造成进程阻塞：fileSystem.exists(path)fileSystem 是在 Appender 中创建的：this.conf = new Configuration(); try { fileSystem = FileSystem.get(
2013-07-30 21:29:50
2703
原创 LOG4J
LOG4J中创建 APPENDER在：OptionConverter.instantiateByClassName(String className, Class superClass, Object defaultValue)Class classObj = Loader.loadClass(className);return classObj.newInstance();这是读
2013-07-30 16:27:57
1945
3
原创 BUILD CDH4.3.0
编译时居然还有编译错误：[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /home/yuming/dev/gitrepos/cdh4-2.0.0_4.3.0/hadoop-yarn-project/hadoop-yarn/hadoop
2013-07-27 12:44:31
1199
原创 安装 protobuf 很水 慎入 主要做个备份
[root@localhost yuming]# wget https://protobuf.googlecode.com/files/protobuf-2.4.1.zip[root@localhost yuming]# unzip protobuf-2.4.1.zip [root@localhost yuming]# cd protobuf-2.4.1/[root@localhost pr
2013-07-27 07:31:55
16290
3
原创 备忘
2013-07-26 19:27:28,193 INFO org.apache.hadoop.mapred.ShuffleHandler: httpshuffle listening on port 80802013-07-26 19:27:28,193 INFO org.apache.hadoop.yarn.service.AbstractService: Service:httpshuffl
2013-07-26 20:32:56
1250
原创 git
安装[yuming@localhost ~]$ sudo yum install git.x86_64然后直接就能用，太暴力了[yuming@localhost gitrepos]$ git clone http://........../project.gitCloning into 'project'...Username for 'http://xxxxx': use
2013-07-25 23:03:31
846
原创 NodeManager启动错误
NodeManager 没起来2013-07-25 20:06:22,266 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManagerorg.apache.hadoop.yarn.YarnException: Failed to Start org.apache.hadoop
2013-07-25 21:38:36
12313
原创 postgresql 入门使用记录
查看postgresql 安装情况[root@localhost hive]# rpm -qa | grep postgresqlpostgresql-9.2.4-1.fc19.x86_64postgresql-libs-9.2.4-1.fc19.x86_64postgresql-server-9.2.4-1.fc19.x86_64为 hive 提供 postgresql
2013-07-24 21:35:27
6779
原创 YARN 中的异常
2013-07-23 12:39:32,982 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode joinjava.io.IOException: NameNode is not formatted.at org.apache.hadoop.hdfs.server.namenode.FS
2013-07-24 21:34:51
4638
原创 fedora
安装完 Fedora 后，插上网线也无法上网，但能ping通网关。打开终端 --> setup --> System Services --> Run Tools --> network
2013-07-23 23:26:41
1302
原创 YARN 中 Container 的启动
Container启动时并不知道具体要在其中做什么它被要求启动时只管根据 request 的要求准备运行环境，从 request 中取出预先存储的命令简单加工后写到脚本文件并执行。具体执行命令前先发出一个容器已启动的事件，再运行脚本，启动过程就完成了
2013-07-23 09:57:13
2332
原创 YARN中的Service
AggregatedLogDeletionService会定期删掉 HDFS 目录 "yarn.nodemanager.remote-app-log-dir" 中的日志文件运行作业时 NodeManager 会将作业写在本地，作业完成后文件被写入 HDFS 配置项"yarn.nodemanager.remote-app-log-dir" 指定的目录中。AsyncDispat
2013-07-23 00:23:11
1592
原创 ConcurrentHashMap
ConcurrentHashMap 提供了细粒度的加锁机制，如果这个map中有 n 个锁和 5n个元素，那第一个锁就负责第1个、第1+n个、第1+2n个.....元素的同步。它允许任意数量的读线程并发访问。允许一定数量的写线程并发地修改。在 org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl 中包含一个 C
2013-07-21 13:18:28
960
原创 maven常用命令
有些经常碰到的问题，每次都要现查很是麻烦，放在这纯粹图个方便：mvn dependency:sourcesmvn install:install-file -DgroupId=jdk.tools -DartifactId=jdk.tools -Dversion=1.6 -Dpackaging=jar -Dfile=./tools.jar
2013-07-10 23:52:10
775
原创 创建JobClient遇到的错误
创建JobClient时候总出现这个错误：Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at
2013-07-10 21:15:37
3134
1
原创 hive权限问题
以root用户ssh登陆到集群建表，向表中导数据出现没有写权限的错误。查看发现表所在目录所有者为hive，其他人没有写权限，用超级管理员将表的目录所有者改为了root，并添加了写权限后才导入。至于为什么不同表的目录所有者不一样是怎么造成的，这个明天去测试一下。[root@yuming ~]# hadoop fs -ls /user/hive/warehouseFound 14 itemsd
2013-07-10 20:54:44
1582
点对点消息模型示例
2013-12-09
JS HTML CSS DOM chm文档
2011-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人