xuedingkai的博客

MapReduce作业接受序列化文件的输入时，可通过配置job的输入文件格式实现，具体见代码：package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apach

package hadoop;import java.io.IOException;import java.net.URI;import java.nio.file.Path;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.had

storm在用命令提交任务时，在work的日志里出现 找不到类 的错误，具体报错如下所示：2017-12-10T15:55:42.615+0800 b.s.m.loader [INFO] Starting receive-thread: [stormId: Clustertopology-1-1512892537, port: 6700, thread-id: 0 ]2017-12-10T1

操作HBase数据库的类：package mblog;import java.io.IOException;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase

1、修改conf/hbase-env.sh中的HBASE_MANAGES_ZK为false：export HBASE_MANAGES_ZK=false2、修改conf/hbase-site.xml如下所示： hbase.rootdir file:///home/hbase-0.98.6-hadoop1/data

hadoop mapreduce作业通过组合key实现二次排序的过程中，只要实现组合key的类就可以了。mapreduce框架本身会基于key对输出进行排序。而partion函数只为了是实现数据规模较大时，对map的输出实现分区。为启动多个reduce任务做准备。group函数也是可有可无的。group函数的作用是对key进行分组，例如对于map的结果：[(k1, k21), v1

网上好多好推荐之类的博客都是基于二度好友的推荐，下面介绍基于邻接表的好友推荐的spark实现。输入： 1 2,3,4,5,6,7,8 2 1,3,4,5,7 3 1,2 4 1,2,6 5 1,2 6 1,4 7 1,2 8 1 第一列表示用户，后面的表示用户的所有好友。需求：找出用户好友的好友

HBase单节点模式需配置三个文件1、配置hbase-env.sh       a）修改 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64       b）修改 export HBASE_MANAGES_ZK=false             默认为true，意思是使用自带的zooKeeper2、配置hb

在使用idea打包jar文件，执行java -jar xxx.jar后出现Error: Could not find or load main class TestDemo.jar找不到主类的错误。依照以下方式打包可解决此问题：...