- 博客(18)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 oozie报错 start time is after or equal to coordinator job's pause time
安装了CDH5.2,配置了oozie的mysql数据元存储。运行coordinator时，发现不能运行报以下错误： start time is after or equal to coordinator job's pause time 最后GOOGLE解决了问题：那是oozie 的mysql表字段值有问题解决：change table coord_jobs c...
2014-12-24 10:47:10
196
cloudera manager安装问题记录二
问题一IOException thrown while collecting data from host: No route to host 因为agent机器开启了防火墙解决: service iptables stop 问题二在以下主机上，组 'hadoop' 不包括用户 'hdfs'： 解决:usermod -a -G hadoop hdfs...
2014-02-12 15:11:51
353
原创 cloudera manager安装问题记录
使用cloudera manager安装hadoop,过程中日志记录错误如下:Could not initialize database server. This usually means that your PostgreSQL installation failed or isn't working properly. PostgreSQL is installed us...
2014-02-12 14:29:43
211
原创 Cloudera Manager 离线安装教程
前言以前部署hadoop集群,一直使用cloudera提供的tarball部署安装,今天尝试使用CM在新机器部署hadoop,因为使用它使用起来简单方便,并且提供了一系列的监控功能.但由于CM的安装是要联网的,而且cloudera还在中国没有源,所以安装过程非常的慢,而且失败率很高(网络不好的同学相信很有体会).所以自己摸索着搭建一个本地源,用于CM的安装.记录如下 环境:...
2014-01-10 18:12:01
233
原创 ganglia离线安装
由于公司机房机器不允许上网,所以需要一个离线安装ganglia的方案,网上的教程都是有联网的,所以自己写一编 ganglia离线安装教程.机器系统: redhat 5.6 64位 安装rrdtools注:由于机房机器能连接外网,所以需要下载好相关的包,上传到机器上. http://oss.oetiker.ch/rrdtool/pub...
2013-12-16 17:42:46
275
jps命令不能查看hadoop进程
今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的....
2013-11-19 10:59:34
1432
原创 windows下安装mysql-proxy
以前用过linux下的mysql-proxy,感觉很好用,今天需要在一台windows服务器上装个mysql-proxy,看着官网一步一步的实现,过程如下: 我使用的是MySQL Proxy 0.8.3 alpha版本,下载地址 http://dev.mysql.com/downloads/mysql-proxy/选择windows平台版本. 安装:windows版本在...
2013-08-01 11:03:36
775
原创 sqoop扩展
sqoop是一款数据互导工具,利用它可以在关系数据库与hbase/hive/hdfs进行数据互导,过程中会生成一个mapreduce任务，也就说是sqoop是基于hadoop的.淘宝也有自己的数据互导工具，叫datax,它跟sqoop实现原理不同，没有基于hadoop. sqoop目前还没有很好的支持不同的导数据业务,比如数据库字段名称不能与java关键字同名、row-key不支持整型...
2013-02-06 00:31:40
172
原创 hadoop自带的wordcount
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount 2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.tx...
2012-11-24 19:31:24
202
原创 nginx的 CPU参数worker_processes和worker_cpu_affinity使用说明 .
官方说明：http://wiki.nginx.org/NginxChsHttpMainModule#worker_cpu_affinityhttp://wiki.nginx.org/NginxChsHttpMainModule#worker_processes worker_cpu_affinity这个参数要结合 worker_processes来一起使用。其中 先说 work...
2012-10-25 11:49:10
115
原创 CentOS Linux利用ntfs-3g挂载读写Windows的ntfs分区
相信在自己的电脑上Windows 与Linux 同时并存的童鞋不在少数，因为就算你是个超级Linux控，有时候也还离不开Win，比如当你想在淘宝拍东西用网银时，国内绝大部分网银都还不支持Linux。虽然大部分新版（如2009、2010年发行的）Linux发行版，像Ubuntu 9、10和Fedora 12、13等都已经默认支持NTFS分区自动挂载，但是如果你是像偶这样喜欢用CentOS这样的服务...
2012-09-11 15:01:36
101
CentOS下firefox安装flash说明
CentOS下自带了firefox,但没有flash插件的,按它自己的提示安装不成功,需要手动安装,如下:1.打开flash官网,http://labs.adobe.com/downloads/flashplayer11-2.html下载插件tar.gz格式的,解压后里面有一个usr文件夹,一个libflashplayer.so和一个readme.txt文件.主要是那个libflash...
2012-09-06 15:14:20
385
原创 CentOS 5.8 中文乱码解决方案
今天安装了centos5.8,发现原生系统显示中文时全是乱码,google后终于搞好中文环境,特记录一下: 一、安装中文支持：# yum install "@Chinese Support"二、用 yum 安装中文字体 #yum install fonts-chinese.noarch三、修改配置文件#vi /etc/sysconfig/i18n将LANG="en_...
2012-09-06 14:06:27
191
原创 tomcat配置详解
一个server包含多个service，一个service包含多个监听端口、多个context和一个引擎<Server>元素它代表整个容器,是Tomcat实例的顶层元素.由org.apache.catalina.Server接口来定义.它包含一个<Service>元素.并且它不能做为任何元素的子元素. <Server port="8005" shutdo...
2012-07-30 15:55:05
88
solr error:404 missing core name in path with solr
今天需要部署一个新的solr应用,使用熟悉的1.4版本,当把服务部署在tomcat时, http://ip:port/solr 页面可以打开,但进入http://ip:port/solr/admin页面的时候却报出了错误:404 missing core name in path with solr,google上关于这个问题的解决方案很少,试了几个都不管用,比如拷贝core0文件夹到so...
2012-04-19 23:17:30
190
原创 使用springJDBCTemple返回插入数据的id
今天项目中遇到了需要返回插入数据的id 的一项业务(数据库id自动增长),数据库连接使用spring jdbctemplate,网上查了一下发现结合spring使用的比较少,所以记录下我的实现方法: final Star star = getStarInfo(); KeyHolder keyHolder = new GeneratedKeyHolder(); row =...
2012-01-31 21:56:54
231
java 多线程小练
在网上看到这样一道试题,关于多线程的,拿来小练一下题目:有一个南北向的桥，只能容纳一个人，现桥的两边分别有10人和12人，编制一个多线程序让这些人到达对岸，每个人用一个线程表示，桥为共享资源。在过桥的过程中显示谁在过桥及其走向。以下是我的代码[code="java"]package test;public class MyThread3 extends Thread {...
2011-05-12 15:39:37
155
空空如也
java成本高?
2011-11-17
关于SmartUpload
2011-08-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人