童话里的小超人-CSDN博客

原创 GitLab在windows用户端的使用教程

GitLab介绍Git最初是用于Linux内核开发的版本控制工具，现在已被应用到了很多项目中。GitLab是支持Git的源码存取服务，直观理解就是GitLab为Git封装了一层用户友好性的UI以及相关便捷操作。软件安装（准备工作）Git主要是将不用用户电脑中的代码版本进行控制，这就需要用户电脑中也需要安装Git环境，以下是windows下Git环境的安装：需要下载安装两个软

2012-11-11 13:59:57 33549 9

原创 Hadoop启动后Jobtracker一直是initializing状态的问题解决

Hadoop启动后，在浏览器中查看Hadoop的运行状态，发现Jobtracker一直是initializing，而HDFS则是正常运行的，解决该问题的方法是将头结点和所有计算节点的iptables关闭，命令为：sudo /etc/init.d/iptables stop

2012-11-10 18:53:08 1767

在Java工程中，在java Build Path-->libraries-->add external jars中添加了外部jar包，假设jar包放在该工程的lib目录下，假设为工程名 myproject,即jar包在D:\myproject\lib\*.jar下,然后编译工程正确后,把整个工程复制到另一台计算机下，导入该工程后，经常会出现工程错误（工程编译是正确的），提示消息说 Project

2012-10-14 17:20:52 1848

原创 Server returned HTTP response code: 500 for URL解决方法

最近在做web service相关的东西，老师的作业题如下：开发一个Java类，手工编写WSDL文档，并打包发布到Axis容器；客户端调用程序：基于Socket或HTTP库，自己构造SOAP调用报文，发送给服务器端，接收到响应的SOAP报文后，显示出来。在编写客户端的时候，使用了http和socket两种方法，我用的是jre自有的api，http方式代码如下： URL url

2012-10-14 17:10:28 94171 4

原创 32bit / 64bit 服务器上软件安装注意事项

linux服务器一般都是64bit的，但是假如64bit的服务器上装的是32bit的操作系统，则不能因为机子是64bit的就安装64bit的软件，而应该装32bit的软件。安装软件的bit是几位的，不是看底层的机器，而是应该看操作系统，64bit的机器可以装32bit的操作系统，但是32bit的机器却不能装64bit的操作系统，注意！还有，如果在64位的操作系统上安装Eclipse，如果先

2012-10-10 19:56:00 1006

原创 eclipse + tomcat，修改代码后，tomcat不自动更新调试

eclipse + tomcat做工程，tomcat引入到eclipse中做服务器，在eclipse中修改代码后，tomcat不自动更新调试，而且重启tomcat后，修改的代码也不奏效，几乎好像是tomcat不能将新修改的代码加载进去。不知道具体是什么原因，但是应该不是eclipse和tomcat的原因，是代码的问题，感觉上假如代码是错误的，编译不能通过，则tomcat不会对代码重新调试，至少

2012-10-10 19:49:37 9733

原创 linux网络配置查询与进程相关命令

1. 查看网络接口信息ifconfig 查看网络接口信息（/sbin/ifconfig）ifconfig [网络接口] 查看指定网络接口信息ifconfig -a 查看系统中所有网络接口的信息2. 查看网关地址和路由信息route 查看主机路由信

2012-06-22 14:07:03 1169

原创安装linux系统网络环境配置

1、更改主机名主机名的更改在/etc/sysconfig/network下2、更改ip配置ip地址修改在 /etc/sysconfig/network-scripts/ifcfg-eth0 或 /etc/sysconfig/network-scripts/ifcfg-eth1 下DEVICE=eth0 #物理设备名IPADDR=192.168.1.10 #IP地址NETMA

2012-06-22 13:59:12 903

转载 Hadoop使用常见问题以及解决方法

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf

2012-04-10 22:43:48 876

原创 Hadoop启动显示错误：/lib/ld-linux.so.2: bad ELF interpreter:

缺少 glibc.i686组件命令：yum install glibc.i686如果是在集群上通过脚本来跑yum，很可能会因为yum安装下载过慢而导致通过脚本运行yum失败。

2012-04-10 22:39:38 997

原创 sed用法，替换文本内容用于修改主机名

命令：sed -i '2c HOSTNAME=x120' /etc/sysconfig/network上面命令可以将/etc/sysconfig/network文件的第二行文本替换为HOSTNAME=x120，具体详情参考鸟哥第359页

2012-04-10 22:34:23 2097

原创 hadoop运行wordcount无反应

在主节点上执行“hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output”后一直无反应像“hadoop fs -ls /tmp”之类的命令没有问题，能够对hdfs进行操作集群中namenode和datanode的namenodeID是一致的，没有问题，不知道问题出在哪里下面是hadoop的配置文件

2012-02-23 16:24:55 2740 3

转载禁用 SSH 远程主机的公钥检查

SSH 公钥检查是一个重要的安全机制，可以防范中间人劫持等黑客攻击。但是在特定情况下，严格的 SSH 公钥检查会破坏一些依赖 SSH 协议的自动化任务，就需要一种手段能够绕过 SSH 的公钥检查。首先看看什么是 SSH 公钥检查SSH 连接远程主机时，会检查主机的公钥。如果是第一次该主机，会显示该主机的公钥摘要，提示用户是否信任该主机：The authenticity

2011-11-28 13:20:42 751

转载 hadoop集群管理之 SecondaryNameNode和NameNode

光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中，要配置好并正确的使用

2011-11-14 21:19:09 1219

转载解决hadoop集群中datanode启动后自动关闭的问题

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespac

2011-11-14 20:59:03 4595 1

原创 Hadoop状态页面的Browse the filesystem链接无效的问题

假如需要通过外网IP来连接到服务器集群，通过自己本地的电脑来查看Hadoop集群的运行情况是不合理的，因为服务器集群之间是通过局域网IP通信的，所以本地电脑无法查看Hadoop服务器集群的运行情况，可以通过VNC登录某台服务器节点来查看Hadoop的运行情况。

2011-11-07 23:00:44 1612

原创 Hadoop的部署和wordcount样例的运行

部署经验：1.网上资料都强调使用主机名或域名进行部署，使用IP可能会出问题。2.start-all的时候出现Name and service not known，无法启动DataNode。尚未解决。尝试在slaves文件中使用IP或域名。3.出现端口冲突，检查是否有尚未停掉的Hadoop进程。4.start-all的时候显示DataNode已启动，但DataNode未连接，log显

2011-11-07 22:50:20 950

原创为Linux集群创建新账户，并配置hadoop集群

之前装python、jdk、hadoop都是用的root账户，这是一个绝对的失策，linux对用户访问权限很严格，新创的hod账户根本无法启动hadoop，而root在hod模式下使用torque是不被建议的，所以只能用hod账户再重新装一遍.创建用户、设置密码、修改用户、删除用户：useradd testuser 创建用户testuserpasswd testuser 给

2011-11-07 22:13:49 2428

转载 Linux下的解压命令

.tar解包： tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）---------------------------------------------.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：gzip FileName.tar.gz

2011-11-01 19:49:15 488

原创为服务器集群安装Hadoop On Demand

需要为在沙河校区的56台服务器(x101~x156)安装HOD，torque是一个师姐装的，我在一个师兄的带领下，完成了下面的工作，1、为56台服务器实现两两之间无密码登录wumimadenglu.exp#!/usr/bin/expect -fset password 123456for {set i 1} {$i<57} {incr i} { if {$i<10} {

2011-11-01 17:07:06 813

bluesky8640的博客专栏