hadoop
梦之马
一入代码深似海,从此不做岸上人
展开
-
hdfs之namenode学习记录
1、基本概念namenode:用于管理datanode和hdfs文件信息 namenode有两个重要文件fsimage和editslog namenode容错机制 1、备份那些组成文件系统元数据持久态的文件 2、运行一个辅助namenode,但是不能被用作namenode。作用是定期通过编辑日志合并命名空间镜像1.1 fsimagefsimage:包含文件系统中的所有目录和文件inode的序原创 2017-08-09 20:06:13 · 970 阅读 · 0 评论 -
hadoop自定义排序,分组排序
自定义排序分组排序原创 2017-08-18 14:41:29 · 1122 阅读 · 0 评论 -
protocol buffers 安装问题
这是Google开发的,然后被墙了,然后各种东西不能下了 下载github地址点这里 点击Download ZIP 我发现master上的包,运行./autogen.sh 可以正常联网,我换了2.7.0版本就不好使。开始踩坑在./autogen.sh你会发现连不上网,然后只有用别人的下载好的包,csdn上就有。下载链接 其中autogen.sh的代码问题出在: #curl $curlop原创 2017-08-06 21:30:32 · 465 阅读 · 0 评论 -
Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C
我是对map的输出key类型仅仅实现了Writable,而没有实现comparable 由上图可知,会进行shuffle阶段对key进行分类,相同的key,会把value收集在一起,就是reduce 的Iterable value 解决办法 需要map阶段输出的key类型实现 compareTo 如果只进行序列化是可以仅仅实现Writable接口 write(),readFile的 map原创 2017-08-14 20:47:27 · 5733 阅读 · 4 评论 -
hive 2.1.1配置错误解决办法
hive 2.1.1配置记录,错误详解原创 2017-09-06 13:51:23 · 400 阅读 · 0 评论 -
hive之hwi
hwi:hive web interface 启动方式:hive --service hwi此处会缺少war包,所以需要从源码中去打包。 思路讲解: 下载源码 版本是hive2.1.1 下载地址:选择你合适的版本 解压进入hwi文件夹 编译hwijar cvfM0 hive-2.1.1.war -C web/ .复制到hive的lib下 再对conf下的hive-site.xml文原创 2017-09-06 17:03:47 · 469 阅读 · 0 评论 -
sqoop抽取文件到hadoop
sqoop import --connect jdbc:mysql://192.168.133.32:3306/school --username hive --password 123456 --table student --target-dir /user/hive/tables 后面的/user/hive/tables 无需创建我还设置了开机启动hadoop之类的,导致虚拟机很慢,还是换原创 2017-09-07 17:08:30 · 685 阅读 · 0 评论 -
Hive
hive与传统数据库的比较数据加载模式传统数据库在数据加载时数据类型必须符合数据要求,这种在写入时进行数据验证的称为写时模式(schema on write) 而hive在数据加载时不对数据进行验证,而是在读的时候进行验证。优劣势比较: 写时模式在查询时速度更快,加上索引、数据压缩等优化,但在数据写入时会比较慢,比如数据验证、更新索引等。 读时模式在数据加载更快,因为hive是基于大数据的,数原创 2017-09-25 11:16:12 · 254 阅读 · 0 评论 -
hadoop自定义类型异常java.lang.RuntimeException: java.lang.NoSuchMethodException: twicesort.TwoKey.<init>()
java.lang.RuntimeException: java.lang.NoSuchMethodException: twicesort.TwoKey.<init>() at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131) at org.apache.hadoop.io.Wr原创 2017-10-10 20:41:38 · 834 阅读 · 0 评论