hadoop
大可乐曹键
这个作者很懒,什么都没留下…
展开
-
零基础学习hadoop到上手工作线路指导(编程篇)
原文链接:http://www.aboutyun.com/thread-8329-1-1.html问题导读:1.hadoop编程需要哪些基础?2.hadoop编程需要注意哪些问题?3.如何创建mapreduce程序及其包含几部分?4.如何远程连接eclipse,可能会遇到什么问题?5.如何编译hadoop源码? 阅读此篇文章,需要转载 2014-12-18 16:44:57 · 494 阅读 · 0 评论 -
hadoop--自动化脚本-- 自动给奴隶机器发送hadoop安装包
scp -rp ./hadoop-0.20.2 grid@h1:/home/gridcat ./slave | awk '{print "scp -rp ./hadoop-0.20.2 grid@"$1":/home/grid"}'1、首先准备一个文件啊 slave , 这个文件里面的值是什么h1h2h3h4h5h6.........2、把转载 2015-03-02 20:32:39 · 616 阅读 · 0 评论 -
云计算和 大数据, ---创业, 技术和资金不是主要, 主要是---赚钱模式
云计算大数据-----------------------------------------------------------------------------------------------赚钱的问题:1、技术,不是问题2、资金不是问题3333: 问题是你的赚钱模式是什么。。 怎么去挖掘金子 。。转载 2015-03-02 20:50:34 · 857 阅读 · 0 评论 -
Sqoop的安装与使用
sqoop import --connect jdbc:mysql://10.100.157.221:3306/111yao --username root --password caojian --table dst_ad --fields-terminated-by '\t' Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图转载 2015-01-26 12:46:55 · 387 阅读 · 0 评论 -
Win下Eclipse提交Hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=D
描述:在Windows下使用Eclipse进行Hadoop的程序编写,然后Run on hadoop 后,出现如下错误:11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_000311/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%转载 2015-01-03 11:59:40 · 449 阅读 · 0 评论 -
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
查看日志:[python] view plaincopy[root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 INF转载 2015-01-03 00:35:52 · 646 阅读 · 0 评论 -
iptables 防火墙
iptables -F INPUT(不指定表名时默认清空filter表)iptables -t nat -F (清空nat 表)iptables -t raw -X (清空raw表中用户自定义的所有规则链)转载 2015-01-03 02:54:50 · 405 阅读 · 0 评论 -
Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)
转载请注明出处:http://www.wangyongkui.com/hadoop-cdh5。系统环境4台联想R510服务器,其中master节点4核心、8GB,其它节点双核心、4GB。网卡:100M。共有硬盘6TB。网络环境内网。Centos6.5 x64(安装系统时尽量把开发包安装齐全,另master节点需要Mysql可以在安装系统时勾选)。准备工作卸载系统自带OPEN-J转载 2014-12-30 16:09:15 · 489 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言,最初又雅转载 2014-12-28 16:43:29 · 346 阅读 · 0 评论 -
mkdir -p 参数,可以直接创建层级的目录,不需要创建一个进入一个
上一篇[命令技巧]mkcd中,mkcd函数里面使用到了mkdir的-p选项。mkdir的-p选项允许你一次性创建多层次的目录,而不是一次只创建单独的目录。例如,我们要在当前目录创建目录Projects/a/src,使用命令1mkdir -p Project/a/src而不是12345mk转载 2014-12-27 15:02:24 · 1054 阅读 · 0 评论 -
HDF 2.0 HA
主备 NameNode解决单点故障---》 主NameNode对外提供服务,备NameNode 同步主NameNode元数据,以待切换---》 所有DataNode同事向两个NameNode回报数据块信息两种切换选择---》手动切换:通过命令实现贮备之间的切换,可以使用HDFS升级等场合--》自动切换:寄语Zookerper实现基于Zookeeeper自转载 2014-12-27 14:52:00 · 436 阅读 · 0 评论 -
vi 编译器用法总结
esc: 命令模式与插入模式的切换一、vi查找: 当你用vi打开一个文件后,因为文件太长,如何才能找到你所要查找的关键字呢?在vi里可没有菜单-〉查找, 不过没关系,你在命令模式下敲斜杆(/)这时在状态栏(也就是屏幕左下脚)就出现了 “/”然后输入你要查找的关键字 敲回车就可以了。如果你要继续查找此关键字,敲字符转载 2014-12-27 14:44:22 · 556 阅读 · 0 评论 -
Hadoop学习路线图
按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章: 用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用Hadoop进行分布式数据处理第2部分(进阶):http://www.ibm.com/developerworks/c转载 2014-12-18 16:44:01 · 348 阅读 · 0 评论 -
云计算====成本
1、安全风险, 敲诈, 网络, 数据出售2、可用性风险, 怕被绑架, 财务数据, 很多重要数据, 可能被大公司绑架,大公司可能抛出诱饵。=----------------------------------------反正如果不是自己把握,很有可能被坑爹。 如果企业要倒闭了,任何事情都可能干的出来的。转载 2015-03-02 21:03:32 · 653 阅读 · 0 评论