大数据
邓彪1022
方向错了,速度再快又有什么用。
展开
-
HDFS上传下载
package com.db.hadoop.hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hado原创 2017-07-12 19:41:14 · 332 阅读 · 0 评论 -
running beyond virtual/physical memory limits问题解决
running beyond virtual/physical memory limits问题解决转载 2017-09-07 11:38:49 · 567 阅读 · 0 评论 -
Wrong FS: hdfs://localhost:9000/user/... expected: file:///
Wrong FS: hdfs://localhost:9000/user/... expected: file:///转载 2017-09-06 13:46:48 · 982 阅读 · 0 评论 -
flume介绍与原理
flume介绍与原理转载 2017-08-21 20:46:27 · 379 阅读 · 0 评论 -
javaAPI使用kafka0.11,生产者与消费者
javaAPI使用kafka0.11,生产者与消费者原创 2017-08-21 20:13:44 · 3355 阅读 · 0 评论 -
什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么
什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么转载 2017-08-17 13:12:19 · 1438 阅读 · 0 评论 -
java操作sqoop
java操作sqoop,java访问sqoop原创 2017-08-16 10:32:13 · 1125 阅读 · 0 评论 -
java访问Hbase
java访问Hbase原创 2017-07-31 20:05:59 · 428 阅读 · 0 评论 -
java访问zookeeper的增删改查
java访问zookeeper的增删改查原创 2017-07-29 14:49:13 · 1530 阅读 · 0 评论 -
java访问HDFS文件系统
package com.db.hadoop.hdfs; import java.io.ByteArrayInputStream; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.text.SimpleDateFormat; import java.原创 2017-07-13 17:12:59 · 552 阅读 · 0 评论 -
谈谈RDD、DataFrame、Dataset的区别和各自的优势
在spark中,RDD、DataFrame、Dataset是最常用的数据类型,本博文给出笔者在使用的过程中体会到的区别和各自的优势 共性:1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利2、三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历运算,极端情况下,如果...转载 2018-05-06 17:12:57 · 1334 阅读 · 0 评论