2017年12月_hankl1990

转载用java操作hdfs

转：http://blog.csdn.net/AndyXuq/article/details/7995098package andy.hdfs.test;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStr

2017-12-21 15:06:52 376

转载 HDFS文件系统Shell命令

转：http://blog.csdn.net/yuan_xw/article/details/502023811 Hadoop- Shell命令HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir

2017-12-21 15:01:53 2862

转载 spark系列文章

http://blog.csdn.net/raintungli/article/details/76168258#comments

2017-12-17 20:33:36 386

转载 spark十亿数据join优化

转：https://daizuozhuo.github.io/spark-join/最近在项目中用Spark join了几十亿的数据，在debug和不断优化性能中感觉收获良多，特此记录一下。任务很简单，就是join两张表，表A ship有几千万行，包含每日寄出去的包裹的信息，表B item有几十亿行，包括所有商品的属性，我们需要把商品的属性信息加到每个包裹里面的商品上。

2017-12-14 11:25:41 12496 2

转载 kylin之java02

http://www.cnblogs.com/sh425/p/5848949.html通常是用于增量package com.dlht.kylinDemo; import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.IOException;import j

2017-12-13 18:22:47 183

转载 kylin之 java

http://www.cnblogs.com/sh425/p/5848935.htmlimport java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.HttpURLConnec

2017-12-13 18:21:12 351

转载 kafka的offset是个什么鬼。。

转：http://blog.csdn.net/looklook5/article/details/42008079之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据off

2017-12-12 10:04:04 17877

转载使用Comparatro接口实现自定义排序

转：http://blog.csdn.net/jason_deng/article/details/7026458/*有个Person类，包括姓、名、性别、年龄属性：现在有个需求，需要对Person进行以下规则的排序 * 谁的姓拼音靠前，谁就排前面。 * 然后对名字进行排序。如果同名，女性排前头。 * 如果名字和性别都相同，年龄小的排前头。 * int co

2017-12-06 11:08:51 332

转载 Java transient关键字使用

转：http://www.importnew.com/21517.html1. transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。然而在实际开发

2017-12-05 17:35:03 134

weixin_36630761的博客