云计算
ffchinajoy
属于自己的坚持
展开
-
Ubuntu 通过 MySQL-5.6.tar.gz
1. 下载 MySQL 5.5 deb 安装包 cd /usr/local/src sudo wget -O mysql-5.5.22-debian6.0-i686.deb http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.22-debian6.0-i686.deb/from/http://mysql.ntu.edu.转载 2013-07-17 23:46:53 · 1703 阅读 · 0 评论 -
ubuntu中安装伪分布式Hadoop问题总结
最近开始学习hadoop,把老婆新买笔记本抢来装了个Ubuntu12.04,准备在此基础上安装伪分布式Hadoop 一、准备工作 1.Hadoop有三种运行方式:单机模式、伪分布式和完全分布式。 单机模式无需配置,Hadoop被认为是一个单独的java进程,常用来调试 伪分布式的Hadoop看做只有一个节点的集群,这个节点既是Master,也是Slave;既是NameNode,也是Data原创 2013-07-12 22:48:16 · 881 阅读 · 0 评论 -
Hadoop 运行作业java堆溢出:java.lang.outofmemoryerror: java heap space hadoop
运行Mahout 贝叶斯分类时,提示错误java.lang.outofmemoryerror: java heap space hadoop。 这需要设置运行时内存大小。更改mapred-site.xml mapred.child.java.opts -Xmx200m 改为:1000m,或更大。 更改hadoop-env.sh,原来export HADOOP_HE原创 2013-12-09 00:54:05 · 886 阅读 · 0 评论 -
Hadoop fs -get 提示权限不够
使用Eclipse,通过插件向Hadoop提交任务时,默认是以DrWho将作业文件写入到HDFS中,提交的URI为/user/hadoop(我的为/user/ff),由于DrWho对该Hadoop的目录没有权限,所以会出异常。可以从两个方面解决这个问题: 1.更改Hadoop目录的权限 hadoop fs -chmod 777 /user/hadoop 2.配置HDFS的操作权限 在Had原创 2013-12-08 21:18:52 · 6175 阅读 · 1 评论 -
Ubuntu12.04 LTS 下MySQL学习
1.连接MySQL mysql -u root -p 2.修改MySQL配置文件 sudo gedit /etc/my.cnf原创 2013-07-18 00:51:43 · 499 阅读 · 0 评论 -
Ubuntu12.04 安装 ant
1.下载ant http://ant.apache.org/bindownload.cgi中下载 apache-ant-1.9.2-bin.tar.gz 2.解压缩 sudo mv apache-ant-1.9.2-bin.tar.gz /opt sudo tar -xzf apache-ant-1.9.2-bin.tar.gz 3.修改环境变量 sudo gedit /e原创 2013-07-19 02:39:42 · 1142 阅读 · 2 评论 -
hadoop_eclipse_plugins访问HDFS权限问题
Eclipse利用插件访问HDFS时,提示用户没有相应权限。 org.apache.hadoop.security.AccessControlException: Permission denied: user=ff 解决方法:更改HDFS权限 方法一:执行命令bin/hadoop fs -chmod -R 777 方法二:修改hadoop的配置文件:conf/hdfs-c原创 2013-09-12 11:35:59 · 1215 阅读 · 0 评论 -
Hadoop中InputFormat分析——数据划分、调度、读取
在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。 数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。 先从一张经典的MapReduce工作流程图出发: 1、运行mapred程序; 2、本次运行将生成一转载 2013-09-02 21:59:21 · 630 阅读 · 0 评论 -
hadoop1.2.0 eclipse插件编译
网上讲的用Ant编译eclipse hadoop plugin插件,都讲的很复杂,对于我这样的菜鸟哪里经得起这么多折腾,本人经过实践,写出我的编译经验 首先请预先安装ant并设置环境变量,下载hadoop-1.1.2.tar.gz源码解压 修改${hadoop.root}/src/contrib目录的build-contrib.xml文件,添加eclipse路径和hadoop版本信息转载 2013-07-19 00:00:48 · 869 阅读 · 0 评论 -
Ubuntu12.04 安装Eclipse
1.下载eclipse http://www.eclipse.org/downloads/?osType=linux. 选择32Bit或者64Bit。我下载的是eclipse-jee-kepler-R-linux-gtk-x86_64.tar.gz 2.拷贝并解压 sudo mv eclipse-jee-kepler-R-linux-gtk-x86_64.tar.gz /opt原创 2013-07-18 23:37:15 · 724 阅读 · 0 评论 -
mahout 安装
Mahout安装与配置 Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。 1:下载二进制解压安装。 到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。 hadoop@ubunt转载 2014-03-01 23:39:54 · 468 阅读 · 0 评论