![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
文章平均质量分 58
常笑笑
这个作者很懒,什么都没留下…
展开
-
hadoop搭建教程之四(Hive安装)
1、解压与安装 解压hive-0.9.0.tar.gz到/opt/目录下: tar -zxvf hive-0.9.0.tar.gz -C /opt mv /opt/hive-0.9.0 /opt/hive 2、配置hive-env.sh Hive提供了一个模版文件hive-env.sh.template,复制一份改名为hive-env.sh cp hive-env.sh.原创 2013-03-15 13:07:35 · 1844 阅读 · 0 评论 -
Pig Grunt之简单命令及实例说明
Pig大的运行方法: 1、脚本 2、Grunt 3、嵌入式 Grunt 1、自动补全机制 (命令补全、不支持文件名补全) 2、autocomplete文件 3、Eclipse插件PigPen 进入Grunt shell命令 [hadoop@master pig]$ ./bin/pig 2013-04-13 23:00:19,909 [main] INFO or原创 2013-04-13 15:40:37 · 3570 阅读 · 1 评论 -
hbase Shell之简单命令说明
[hadoop@master hbase]$ bin/hbase shell 进入shell hbase(main):001:0> help ******(Shell命令说明) hbase(main):002:0> status 1 servers, 0 dead, 4.0000 average load (服务器,dead,负荷) hbase(main原创 2013-04-12 19:03:05 · 1405 阅读 · 0 评论 -
hadoop 之简单命令说明
前面搭建好了hadoop的平台,然后我们可以使用简单的hadoop命令体验下hadoop,不至于搭建平台后不知道干嘛。 $ pwd /home/opt/hadoop 格式化分布式文件系统 $ bin/hadoop namenode -format 启动hadoop的守护进程 $ bin/start-all.sh 停止hadoop的守护进程 $ bin/s原创 2013-04-08 11:46:01 · 1499 阅读 · 0 评论 -
hadoop搭建教程之一(VM克隆虚拟机)
初学Hadoop,在此写下学习笔记,与各位大神们交流共享。 第一步:右键点击已创建虚拟机--》Manager(管理)--》clone(克隆) 因为需要多台虚拟机同时启动,在这里选完全复制,其他默认即可。 第二步:进入克隆虚拟机,修改以下配置: 1:配置IP(我用的VM,克隆后Mac地址自动就改了,这里可不做修改) vi /etc/sysconfig/network-s原创 2013-03-13 16:53:50 · 1500 阅读 · 0 评论 -
hive 终端产生的问题 (Failed to start database 'metastore_db', see the next exception for details.)
今天使用Hive的时候遇到一个这样的bug,上网查下原来是个小问题,在此记录下 。 FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details. NestedThrowa原创 2013-03-15 20:44:22 · 6860 阅读 · 1 评论 -
浅析PageRank算法
转载:本文首先会讨论搜索引擎的核心难题,同时讨论早期搜索引擎关于结果页面重要性评价算法的困境,借此引出PageRank产生的背景。第二部分会详细讨论PageRank的思想来源、基础框架,并结合互联网页面拓扑结构讨论PageRank处理Dead Ends及平滑化的方法。第三部分讨论Topic-Sensitive PageRank算法。最后将讨论对PageRank的Spam攻击方法:Spam Farm转载 2013-03-12 12:20:38 · 817 阅读 · 0 评论 -
hadoop搭建教程之五(Pig安装)
1、解压与安装 解压pig-0.10.0.tar.gz到/opt/目录下: tar -zxvf pig-0.10.0.tar.gz -C /opt/ mv /opt/pig-0.10.0 /opt/pig chown -R hadoop:hadoop /opt/pig su hadoop 2、配置/opt/pig/bin/pig文件 打开pig文件 # #原创 2013-03-16 08:57:29 · 1241 阅读 · 0 评论 -
hadoop搭建教程之三(Hbase伪分布安装)
本文来讲 hadoop搭建教程之三(Hbase伪分布安装) 先决条件: 配置apache hadoop append,默认这个属性是false,需要设置为true 修改(hadoop/conf/hdfs-site.xml) dfs.support.append true dfs.datanode.max.xcievers 4096 一、解压与安装原创 2013-03-14 21:52:45 · 1295 阅读 · 0 评论 -
hadoop搭建教程之二(安装hadoop)
伪分布式模式的安装和配置步骤 1、下载并解压Hadoop安装包,这里我们使用hadoop-1.0.4.tar版本 这里是下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-1.0.4/ 2、添加用户和组 添加组 groupadd hadoop 添加用户 useradd hadoop -g原创 2013-03-14 20:46:45 · 1240 阅读 · 0 评论