大数据
宝宝2011
奔跑中的笨鸟
展开
-
linux下文件同步脚本
文件传输在linux下是很容易通过scp协议和命令实现的,本脚本是同步集群的文件夹的文件,也可以单独同步某个机器。 各个机器直接最好设置无密登陆,否则中间会不断的要求输入登陆密码。 脚本如下: #! /bin/bash #目的主机的登录名 USERNAME=hadoop function synfiles() { host=$2 dir=$(ls $1); #获取需要同步文件列表 fo原创 2016-03-16 11:45:06 · 1529 阅读 · 0 评论 -
docker中运行centos镜像
从docker 仓库中获取的centos镜像只有78MB大小,很多有用的命令都没有,所以需要安装,现在安装最基本的工具。 网络工具:ifconfig net-toolsssh,scp命令工具:openssh-server openssh-clients基本的命令工具(譬如说service命令):initscripts yum update yum install -y n原创 2016-03-18 08:48:23 · 1138 阅读 · 0 评论 -
hive1.2.1 在hadoop 2.6.0中搭建的问题
自己学习hive,配置是稳定版的hive 1.2.1 +hadoop 2.6.0 hive的搭建很简单,可以参考博客:http://blog.csdn.net/linlinv3/article/details/49512587 遇到的问题: 1、mysql链接不上:把mysql的my.conf中的bind-address注释掉,重启mysql 即可。 2、jline版本问题导致启动失败(把原创 2016-03-08 10:17:02 · 342 阅读 · 0 评论