hadoop
关注
分享
扫一扫
文章平均质量分 74
iteye_15509
这个作者很懒，什么都没留下…
展开
-
Linux防火墙设置
1） 重启后永久性生效： 开启：chkconfig iptables on 关闭：chkconfig iptables off（2） 即时生效，重启后失效： 开启：service iptables start 关闭：service iptables stop 需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。（3）在开启了防火墙时，...原创 2013-08-21 16:08:48 · 125 阅读 · 0 评论 -
Hadoop集群的安装与布署
新安装的ubuntu server系统的root没有设置密码，首先修改密码sudo passwd rootcentos 在安装时已经设置了root的密码 修改主机名(centos)vim /etc/sysconfig/network或是vi /etc/hostname 配制一个固定的IPvim /etc/sysconfig/network-sc...原创 2013-09-03 19:38:33 · 111 阅读 · 0 评论 -
HBase的注意事项
1.各服务器时间要同步 2.hbase与Hive的整合 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegrationhttp://blog.sina.com.cn/s/blog_8026da3a0101e3vy.html原创 2013-10-15 19:16:39 · 153 阅读 · 0 评论 -
Linux文件柄和进程限制数
来自 If you are on Ubuntu you will need to make the following changes:In the file /etc/security/limits.conf add a line like: hadoop - nofile 32768 Replace hadoop with whatever user...原创 2013-10-16 21:23:11 · 127 阅读 · 0 评论 -
Hadoop性能调优
重要参数name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.ta...原创 2013-12-12 13:36:40 · 128 阅读 · 0 评论 -
-Djava.library.path
一。如何使用native方法？java一般使用两个path：classpath 和 java.library.pathclasspath是指向jar包的位置。也就是JDK的lib目录java.library.path是非java类包的位置如（dll,so）配制方法：1：LINUX下的系统变量LD_LIBRARY_PATH来添加java.library.path2：在vm...原创 2013-12-18 15:23:23 · 3984 阅读 · 0 评论 -
hadoop 集群间数据迁移
将HDFS的路径hadoop.tmp.dir修改 <property> <name>hadoop.tmp.dir</name> <value>/home/tmp</value></property> num=8slave=lenovo#for i in {1.....原创 2014-03-12 14:38:09 · 238 阅读 · 0 评论 -
linux jdk ssh
下载download jdk from oracle.com 默认是在Downloads目录，用cp命令拷到/usr/lib/jvm/jdk目录，新建目录用mkdir 删除用rm -r 1) sudo chmod u+x jdk-***-linux.i586.bin 2)sudo -s ./jdk-***-linux.i586.bin 3)sudo g...原创 2013-04-01 11:01:59 · 122 阅读 · 0 评论