- 博客(9)
- 资源 (24)
- 收藏
- 关注
原创 ZooKeeper集群搭建
1.ZooKeeper 1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。 2.如何搭建ZooKeeper服务器集群 2.1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。 2.2 在hadoop0的/usr/local目录下,解压缩zk....tar.gz,设置环境变量 2.3 在conf目录下,修改文件 vi zoo_sample.cfg zoo
2014-11-07 10:16:44 233
原创 Pig的简单使用介绍
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3.Pig基本数据类型:int、long、float、double、chararry、bytearray 复合数据类型:Map、Tuple、Ba
2014-11-07 10:14:10 569
原创 Hadoop分布式安装步骤
hadoop分布式部署步骤: 第一大步骤:伪分布式安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行 执行命令 chkco
2014-10-30 11:38:55 400
原创 Hadoop对hdfs操作的命令
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1.6 -text 查看文件内容 1.7 -rm 表示
2014-10-24 00:24:51 587
原创 hadoop的rpc理解
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client),被调用方(server)。 1.3 client主动发起请求,调用指定ip和port的server中的方法,把调用结果返回给client。 1.4 RPC是hadoop构建的基础。 2. 通过例子获得的认识?
2014-10-24 00:21:28 285
原创 hadoop的伪分布安装
1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig -
2014-10-24 00:15:24 280
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人