- 博客(20)
- 收藏
- 关注
原创 GitLab在windows用户端的使用教程
GitLab介绍Git最初是用于Linux内核开发的版本控制工具,现在已被应用到了很多项目中。GitLab是支持Git的源码存取服务,直观理解就是GitLab为Git封装了一层用户友好性的UI以及相关便捷操作。软件安装(准备工作)Git主要是将不用用户电脑中的代码版本进行控制,这就需要用户电脑中也需要安装Git环境,以下是windows下Git环境的安装:需要下载安装两个软
2012-11-11 13:59:57 33611 9
原创 Hadoop启动后Jobtracker一直是initializing状态的问题解决
Hadoop启动后,在浏览器中查看Hadoop的运行状态,发现Jobtracker一直是initializing,而HDFS则是正常运行的,解决该问题的方法是将头结点和所有计算节点的iptables关闭,命令为:sudo /etc/init.d/iptables stop
2012-11-10 18:53:08 1783
原创 Java SE工程项目使用相对路径添加jar包
在Java工程中,在java Build Path-->libraries-->add external jars中添加了外部jar包,假设jar包放在该工程的lib目录下,假设为工程名 myproject,即jar包在D:\myproject\lib\*.jar下,然后编译工程正确后,把整个工程复制到另一台计算机下,导入该工程后,经常会出现工程错误(工程编译是正确的),提示消息说 Project
2012-10-14 17:20:52 1861
原创 Server returned HTTP response code: 500 for URL解决方法
最近在做web service相关的东西,老师的作业题如下:开发一个Java类,手工编写WSDL文档,并打包发布到Axis容器;客户端调用程序:基于Socket或HTTP库,自己构造SOAP调用报文,发送给服务器端,接收到响应的SOAP报文后,显示出来。在编写客户端的时候,使用了http和socket两种方法,我用的是jre自有的api,http方式代码如下: URL url
2012-10-14 17:10:28 94450 4
原创 32bit / 64bit 服务器上软件安装注意事项
linux服务器一般都是64bit的,但是假如64bit的服务器上装的是32bit的操作系统,则不能因为机子是64bit的就安装64bit的软件,而应该装32bit的软件。安装软件的bit是几位的,不是看底层的机器,而是应该看操作系统,64bit的机器可以装32bit的操作系统,但是32bit的机器却不能装64bit的操作系统,注意!还有,如果在64位的操作系统上安装Eclipse,如果先
2012-10-10 19:56:00 1021
原创 eclipse + tomcat,修改代码后,tomcat不自动更新调试
eclipse + tomcat做工程,tomcat引入到eclipse中做服务器,在eclipse中修改代码后,tomcat不自动更新调试,而且重启tomcat后,修改的代码也不奏效,几乎好像是tomcat不能将新修改的代码加载进去。不知道具体是什么原因,但是应该不是eclipse和tomcat的原因,是代码的问题,感觉上假如代码是错误的,编译不能通过,则tomcat不会对代码重新调试,至少
2012-10-10 19:49:37 9767
原创 linux网络配置查询与进程相关命令
1. 查看网络接口信息ifconfig 查看网络接口信息(/sbin/ifconfig)ifconfig [网络接口] 查看指定网络接口信息ifconfig -a 查看系统中所有网络接口的信息2. 查看网关地址和路由信息route 查看主机路由信
2012-06-22 14:07:03 1175
原创 安装linux系统网络环境配置
1、更改主机名主机名的更改在/etc/sysconfig/network下2、更改ip配置ip地址修改在 /etc/sysconfig/network-scripts/ifcfg-eth0 或 /etc/sysconfig/network-scripts/ifcfg-eth1 下DEVICE=eth0 #物理设备名IPADDR=192.168.1.10 #IP地址NETMA
2012-06-22 13:59:12 913
转载 Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf
2012-04-10 22:43:48 887
原创 Hadoop启动显示错误:/lib/ld-linux.so.2: bad ELF interpreter:
缺少 glibc.i686组件命令:yum install glibc.i686如果是在集群上通过脚本来跑yum,很可能会因为yum安装下载过慢而导致通过脚本运行yum失败。
2012-04-10 22:39:38 1006
原创 sed用法,替换文本内容用于修改主机名
命令:sed -i '2c HOSTNAME=x120' /etc/sysconfig/network上面命令可以将/etc/sysconfig/network文件的第二行文本替换为HOSTNAME=x120,具体详情参考鸟哥第359页
2012-04-10 22:34:23 2113
原创 hadoop运行wordcount无反应
在主节点上执行“hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output”后一直无反应像“hadoop fs -ls /tmp”之类的命令没有问题,能够对hdfs进行操作集群中namenode和datanode的namenodeID是一致的,没有问题,不知道问题出在哪里下面是hadoop的配置文件
2012-02-23 16:24:55 2755 3
转载 禁用 SSH 远程主机的公钥检查
SSH 公钥检查是一个重要的安全机制,可以防范中间人劫持等黑客攻击。但是在特定情况下,严格的 SSH 公钥检查会破坏一些依赖 SSH 协议的自动化任务,就需要一种手段能够绕过 SSH 的公钥检查。首先看看什么是 SSH 公钥检查SSH 连接远程主机时,会检查主机的公钥。如果是第一次该主机,会显示该主机的公钥摘要,提示用户是否信任该主机:The authenticity
2011-11-28 13:20:42 760
转载 hadoop集群管理之 SecondaryNameNode和NameNode
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用
2011-11-14 21:19:09 1230
转载 解决hadoop集群中datanode启动后自动关闭的问题
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespac
2011-11-14 20:59:03 4640 1
原创 Hadoop状态页面的Browse the filesystem链接无效的问题
假如需要通过外网IP来连接到服务器集群,通过自己本地的电脑来查看Hadoop集群的运行情况是不合理的,因为服务器集群之间是通过局域网IP通信的,所以本地电脑无法查看Hadoop服务器集群的运行情况,可以通过VNC登录某台服务器节点来查看Hadoop的运行情况。
2011-11-07 23:00:44 1619
原创 Hadoop的部署和wordcount样例的运行
部署经验:1.网上资料都强调使用主机名或域名进行部署,使用IP可能会出问题。2.start-all的时候出现Name and service not known,无法启动DataNode。尚未解决。尝试在slaves文件中使用IP或域名。3.出现端口冲突,检查是否有尚未停掉的Hadoop进程。4.start-all的时候显示DataNode已启动,但DataNode未连接,log显
2011-11-07 22:50:20 956
原创 为Linux集群创建新账户,并配置hadoop集群
之前装python、jdk、hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使用torque是不被建议的,所以只能用hod账户再重新装一遍.创建用户、设置密码、修改用户、删除用户:useradd testuser 创建用户testuserpasswd testuser 给
2011-11-07 22:13:49 2436
转载 Linux下的解压命令
.tar解包: tar xvf FileName.tar打包:tar cvf FileName.tar DirName(注:tar是打包,不是压缩!)---------------------------------------------.gz解压1:gunzip FileName.gz解压2:gzip -d FileName.gz压缩:gzip FileName.tar.gz
2011-11-01 19:49:15 498
原创 为服务器集群安装Hadoop On Demand
需要为在沙河校区的56台服务器(x101~x156)安装HOD,torque是一个师姐装的,我在一个师兄的带领下,完成了下面的工作,1、为56台服务器实现两两之间无密码登录wumimadenglu.exp#!/usr/bin/expect -fset password 123456for {set i 1} {$i<57} {incr i} { if {$i<10} {
2011-11-01 17:07:06 824
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人