数据挖掘爱好者

以前我们做hadoop join的时候，总是在每个数据的表头增加一个tag，然后在reduce中根据tag来区别。         实际上，我们可以节省这种tag，只需要使用multipleInput，就可以分别处理不同的输入路径。         而在reduce端，我们不需要读入一个key下面所有的数据，然后再做join。         http://www.gemini5201314

某些时候map的数量太少，但是每个map的文件比较大，导致执行时间很长。为了充分利用hadoop的优势，我们把map的数据hash到更多的reduce节点去做处理。 使用随机数据都不是特别好，更好的方式是使用input line的hashCode。 public void map(LongWritable key, Text value, OutputCollector outpu

EXPLAIN  select user_id,count(1) as  cc from XXX  group by user_id; 检查语法是否有问题：用EXPLAIN。 select avg(cc) from (    select user_id,count(1) as  cc    from XXX    group by user_id )t;

《WTF: The Who to Follow Service at Twitter》文中介绍的是一个初始版本。第一次提供用户推荐，要求是质量可以，但是上线要快。 因此他们搞了一个单机版本。内存很大，144G ram，至今没有用过这么大内存的机器。 数据规模：照例讲了一个长尾分布，少数人有1000万follower，25个人有100万的follower。 介绍了一下 用不用h

通过oozie调用hive和shell脚本都没有问题。shell脚本需要先上传到hdfs 的某个目录下，只要账户对这个目录有读权限就行。Stdoutput Warning: /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports