![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 70
DT平哥
做好自己
展开
-
MapReducer入门案例MyWordCount
MapReducer入门案例MyWordCount原创 2016-05-18 16:22:49 · 467 阅读 · 0 评论 -
hadoop hdfs api简单操作
1.引入依赖包http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">4.0原创 2016-05-16 17:28:00 · 286 阅读 · 0 评论 -
zookeeper配制zoo.cfg
tickTime=2000 initLimit=10syncLimit=5dataDir=/mysoftware/zookeeper-3.4.9/zkDatadataLogDir=/mysoftware/zookeeper-3.4.9/zkLogsclientPort=2181server.1=slave01:2888:3888server.2=slave02:2888原创 2017-07-23 19:10:09 · 455 阅读 · 0 评论 -
Writable实现类 与 自定义Writable接口
Hadoop中, 并没有使用Java自带的基本类型类, 而是使用自己开发的类,包括IntWritable, FloatWritable, BooleanWritable, LongWritable, ByteWritable, BytesWritable, DoubleWritable, Text等等 Hadoop自带的数据类型可以满足一些简单的数据操作。 但有时,负载的数据类型需要自原创 2017-08-20 20:59:43 · 1764 阅读 · 0 评论 -
MapReduce基础:HDFS的数据完整性
HDFS会对写入的所有数据计算校验和,并在读取数据时验证校验和。DataNode负责在接收到数据后存储该数据及验证校验和 恢复损坏的Block, 主要有以下几步:1)客户端在读取Block时,如果检测到错误,首先向NameNode报告已损坏的Block及其正在尝试读操作的这个DataNode,再抛出ChecksumException2)NameNode将这个Block副本标原创 2017-08-06 18:21:56 · 368 阅读 · 0 评论 -
running beyond virtual/physical memory limits问题解决
Container killed on request. Exit code is 143Container exited with a non-zero exit code 14317/08/25 20:06:31 INFO mapreduce.Job: Task Id : attempt_1503705857308_0004_m_000000_0, Status : FAILE原创 2017-08-26 15:59:17 · 4846 阅读 · 1 评论 -
Writable接口 与 WritableComparable接口
Hadoop中,Writable接口定义了两个方法:void write(DataOutputout) throws IOException;用户将其状态写入二进制格式的DataOutput流。void readFields(DataInputin) throws IOException;用于从二进制格式的DataInput流读取其状态 Writable的序列化和反序列化检原创 2017-08-16 07:29:37 · 1048 阅读 · 0 评论 -
协同过滤推荐算法的原理及实现
协同过滤推荐算法的原理及实现协同过滤推荐算法是诞生最早,并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好,基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类,分别是基于用户的协同过滤算法(user-based collaboratIve filtering),和基于物品的协同过滤算法(item-based colla转载 2017-09-10 16:11:06 · 940 阅读 · 0 评论 -
模拟网商订单生成器
1.订单数据格式:orderNumber: XX | orderDate: XX | paymentNumber: XX | paymentDate: XX | merchantName: XX | sku: [ skuName: XX skuNum: XX skuCode: XX skuPrice: XX totalSkuPrice: XX;skuName: XX skuNum: XX原创 2017-09-03 15:58:42 · 8783 阅读 · 0 评论