hadoop
文章平均质量分 68
nma_123456
这个作者很懒,什么都没留下…
展开
-
impala实现HBase数据查询
由于工作需要,现在需要使用Cloudera Manager的Impala实现大批量数据的查询统计功能。于是,在前面使用Hbase和solr搭建的平台完成最高院的全文检索平台,继续在clouderaManager原有的hadoop平台基础上继续进行更深层次的研究和应用。基于某些地方法院对于数据的要求不一致,有的客户针对于法律文书的全文检索,有的客户针对于当前某种类型案件的统计,因此原有的原创 2016-01-19 18:15:16 · 7943 阅读 · 0 评论 -
window客户端访问HDFS
通过widows客户端访问Hadoop集群,读取HDFS文件使用平台为eclipse,CDH5.1.0,hdf2.3.01、新建java project2、在集群中找到core-site.xml和hdfs-site文件拷贝到java project的工程下,放置到bin文件夹下在src右键,新建source folder即可,如下2、编程代码如下:package c原创 2016-04-21 17:11:33 · 4916 阅读 · 0 评论 -
读取job的历史记录
1、java类import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.NavigableMap;import java.uti原创 2016-09-12 14:49:02 · 551 阅读 · 0 评论 -
hdfs文件系统中相互复制的java操作
引用包:importcom.dewmobile.offline.config.Configuration;importcom.dewmobile.offline.connection.HdfsConnection;importorg.apache.commons.math3.analysis.function.Abs;importorg.apache.hadoop.原创 2018-01-16 15:17:15 · 3605 阅读 · 1 评论