大数据
大数据一亩三分地
这个作者很懒,什么都没留下…
展开
-
java api操作远程hadoop集群
先给个在集群根目录下建立test目录的例子:String uri="hdfs://ip地址:端口号";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri),conf);String pathString = "/test";boolean exists =原创 2017-06-15 19:35:59 · 4575 阅读 · 0 评论 -
hadoop中使用MapReduce编程实例
原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大了,看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊,赶紧保存起来。 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进转载 2017-08-27 22:56:27 · 465 阅读 · 0 评论 -
kafka集群搭建和使用Java写kafka生产者消费者
http://czj4451.iteye.com/blog/2041096server.properties需要配置broker.id=110host.name=192.168.1.108zookeeper.connect=192.168.1.108:2181log.dirs=/usr/local/kafka_2.10-0转载 2017-08-31 16:11:04 · 2334 阅读 · 0 评论 -
java访问hdfs文件时碰到的一些问题
1.java.io.IOException:No FileSystem for scheme:hdfs解决:在pom.xml中漏添加了依赖 。下面3个依赖必不可少 org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.1org.apache.hadoophad原创 2017-09-19 17:03:51 · 1561 阅读 · 0 评论 -
JAVA操作SQOOP对象
JAVA操作SQOOP对象Posted on 2017-06-06 16:57 J'KYO 阅读(203) 评论(0) 编辑 收藏Windows下使用Eclipse工具操作Sqoop1.4.6对象Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出,Windows下使用Eclipse工具操作时,需要先搭建好Hadoop的开发环境参照Java操作HDFS转载 2017-09-28 10:54:37 · 595 阅读 · 0 评论 -
Sqoop2 Java客户端API指南
原文连接:http://sqoop.apache.org/docs/1.99.6/ClientAPI.htmlSqoop Java客户端API指南这篇文章秒描述了额如何在外部应用中使用sqoop java 客户端API。通过客户端API可以实现sqoop命令的功能。使用Sqoop客户端API需要Sqoop 客户端Jar文件及其依赖。提供了支持sqool操作的封装方法的主转载 2017-09-29 19:43:35 · 1107 阅读 · 0 评论 -
Hive部署安装
1.解压安装包 tar -zxvf apache-hive-2.3.0-bin.tar.gz2.添加环境变量,在文件/etc/profile中或者/home/登录用户名/.bash_profile中添加,两者有什么区别请自行查找。 导入下面的环境变量 export HIVE_HOME = hive目录路径 export PATH = $HIVE_HOM原创 2017-10-12 14:10:38 · 320 阅读 · 0 评论