Hadoop
文章平均质量分 52
豆芽炒粉丝
世上万事,不过一拖二闹三不读书。
展开
-
Hadoop-2.4.1集群搭建步骤
首先说明,博主以前也没学过Hadoop,更别提Linux。只不过买了点资料,觉得不看也是浪费,索性找了时间学习了一下,别说,还真是吸引人。言归正传,博主机器:笔记本 Y50-70 美版的搭建环境:VM11(VMware Workstation 11),使用的是CenOS 6.5 64位所需软件:SecureCRT1.先在VM上安装Linux虚拟机步骤不赘述,不会的自原创 2016-03-02 07:54:01 · 2236 阅读 · 0 评论 -
Vector Multiplication with Map-Reduce
Vector Multiplication Task: multiply 2 arrays of N numbers A basic mathematical operation Let’s assume N is very large 向量乘法问题描述: 当N非常大时,如何使用map-reduce解决? 所以,先回想一下map之前,是不是先要将文件spilt一下? 但是问原创 2016-07-05 10:06:11 · 941 阅读 · 0 评论 -
HIVE VS HBASE区别
Pre_knowledge: ACID,指数据库事务正确执行的四个基本要素的缩写。包含:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。一个支持事务(Transaction)的数据库,必需要具有这四种特性,否则在事务过程(Transaction processing)当中无法保证数据的正确性,交易过程极可能达不到交易方的翻译 2016-06-06 10:48:28 · 608 阅读 · 0 评论 -
hive无法连接到mysql数据库debug记录
问题描述:hive无法连接mysql数据库 解决方案: 1. 先将hive的日志级别调一下 2. 出现如下错误信息 可发现是拒绝了root这个用户登录,而在本地使用root却无问题,可定位问题出现在无法远程连接mysql 3.赋予远程连接权限 问题解决!原创 2016-05-02 23:45:49 · 3631 阅读 · 0 评论 -
Hadoop:could not resolve hostname[xxxx]
如上图所示,并没有启动成功,查看原因是主机名无法解析,于是:1.查看/etc/hosts 文件 2.查看上述$hadoop_home/etc/hdfs-site.xml文件是否有误3.查看core-site.xml文件下的 fs.defaultFS hdfs://weekend-1206-01:9000原创 2016-02-29 09:19:13 · 951 阅读 · 0 评论 -
hadoop集群运行小程序wordCount记录
1.在Linux下编写程序 WordCountMapper 分配任务import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.ha原创 2016-03-25 08:21:22 · 684 阅读 · 0 评论 -
HBase的常识以及应用场景
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库?答案是什么,如果我们使用的传统数据库,肯定留有多余的字段,10个不行,20个,但是这个严重影响了质量。并且如果面对大数据库,pt级别的数据,这种浪费更是严重的,那么我们该使用是什么数据库?hbase数个不错的选择,那么我们对于hbase还存在下列问题:1.Column Family代表什么? 2.HBase转载 2016-04-26 10:50:29 · 944 阅读 · 0 评论 -
Hadoop的HA机制(Zookeeper集群+Hadoop集群)配置记录
博主:hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先说明HA是什么? HA意为High Available,高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通原创 2016-04-12 16:38:02 · 13560 阅读 · 6 评论 -
Windows平台下运行hadoop程序wordCount记录
1.在你任何东西没有配置的情况下,仅仅只是导入了hadoop的jar包后,运行程序,会出现如下错误:016-03-25 15:38:17,015 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform原创 2016-03-25 15:52:04 · 4072 阅读 · 0 评论 -
Hadoop的启动与停止
下面就正式启动Hadoop啦,bin/目录下有很多启动脚本,可以根据自己的需要来启动Hadoop的守护进程。启动和停止的脚本和说明如表2-2所示。表2-2 Hadoop的启动和停止说明启动脚本 脚本说明启动脚本 脚本说明start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 T转载 2016-02-29 16:02:17 · 1656 阅读 · 0 评论 -
Failed on connection exception: java.net.ConnectException
1.将hadoop_home下的tmp文件夹删除,本来使用rm tmp是可以删除的,但是不知道为什么提示说:是一个目录,然后使用rm -rf tmp删除了,2.hadoop namenode -format 一下原创 2016-02-29 15:47:51 · 1564 阅读 · 0 评论 -
hadoop无法启动datanode
在执行hadoop上传文件时无法上传,到[xxxxxx]:50070查看日志发现如下错误:也就是说namenode clusterID与datanode clusternodeID不一致所导致解决办法:根据日志中的路径,cd {HADOOP_HOME}/tmp/dfs能看到 data和name两个文件夹,将name/current下的VERSION中的clu原创 2016-02-29 15:44:29 · 419 阅读 · 0 评论 -
hadoopSSH无密码登录
对于需要远程管理其它机器,一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为解决这个问题,推出了通信加密通信协议,即SSH(Secure Shell)。使用非对称加密方式,传输内容使用rsa或者dsa加密,可以避免网络窃听。hadoop的进程之间同信使用ssh方式,需要每次都要输入密码。为了实现自动化操作,需要配转载 2016-02-20 10:19:54 · 527 阅读 · 0 评论 -
Linux下部署hadoop出现java.net.UnknownHostException
首先确认你的主机名到底要什么! 然后:查看/etc/hosts映射文件,看看你的Ip与你的主机名是否有映射,是否是正确的映射进入你的虚拟机setup命令,出现如下:选择Network configuration选项出现如下: 选择DNS configuration出现如下:看看hostname是否与你刚刚设定的一样,如果一样则可以忽略原创 2016-02-18 22:12:04 · 2583 阅读 · 0 评论 -
HDFS-API调用-基于MVC框架实现WEB操作记录
PS:完成时间是2016年3月23日,至今已有一段时间了,功能还未完善,忙于其它事情,所以难免有bug,只做一个砖头,引引玉吧! Utils:// 判断路径是否存在 public static boolean isExistFile(String path, Configuration conf) throws Exception, IOException { FileSy原创 2016-08-06 15:59:37 · 999 阅读 · 0 评论