2017年11月_Inequality-Sign

原创 LeetCode 15. 3Sum

Given an array S of n integers, are there elements a, b, c in S such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note: The solution set must not contain duplic

2017-11-27 20:32:38 125

原创 LeetCode-11~Container with Most Water

传统的双指针解法仍然存在一些重复计算的问题，因此我改进了此方法多加入了一重判断，效率上提高了不少public int maxArea2(int[] height) { int dFlag = 0;//1表示前一次左进,2表示右退 int tmp_left = 0;//上次经过计算的水桶的左值 int tmp_right = 0;//上次经过计算的水桶的

2017-11-25 19:05:18 135

原创归并排序java实现

//mid是left的最后一个元素,将两个有序序列排序整理 public void sSrot(List<Integer> list, int left, int mid, int right) { List<Integer> tmpList = new ArrayList<Integer>(); int l = left; int r = m

2017-11-25 13:04:37 172

原创 mapReduce使用分布式缓存机制

由于有时候reduce value值数量的不确定性可能会造成数据倾斜,可以考虑使用分布式缓存机制，仅用map进行输出。mapreduce中具体的函数为job.addCacheFile(new URI("file:///Users/inequality/tmp/input/join/pro.txt"));此函数可以在map运行之前在工作目录加入缓存文件，供map使用具体程序代码：实现采购信息和商品信息

2017-11-23 18:15:01 1062 1

原创 MapReduce分析共同好友

两次使用mapreduce 输入文件: A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J最终需求结果如：A–B: C E

2017-11-23 18:04:47 659

原创 mapreduce 根据value值进行排序

目前所知有两种方法1.map阶段不做改变,在reduce阶段对map的输出进行缓存，重写cleanup方法,在其中对缓存的数据进行排序输出。缺点:如果数据量过大，将消耗大量的内存2.进行两个Mapreduce操作将第一个次Mapreduce的输出value作为第二次map的key ，在第二次reduce再还原成原来的key value形式如下为按照手机号产生流量的value进行排序的j

2017-11-20 13:00:45 8422 2

转载 java中的Iterator和Iterable 区别

java.lang.Iterable java.util.Iterator 来自百度知道： Iterator是迭代器类，而Iterable是接口。好多类都实现了Iterable接口，这样对象就可以调用iterator()方法。一般都是结合着用，比如 HashMap类就实现了Iterable接口，而要访问或打印出Map中所有内容时，就可以这样： HashMap hashMap;

2017-11-19 00:27:25 163

转载 maven构建CDH开发环境

1.配置远程仓库<repositories> <repository> <id>cloudera-releases</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> <releases> <enabled>true</en

2017-11-16 18:23:52 475

原创 Git 实践 idea (持续更新)

一。 1.idea上进行github配置。配置远程仓库 git remote add origin xxxxx 2.创建代码库并上传到github二。创建分支 git branch MyTest 切换到分支 git checkout MyTest修改相关文件后提交到代码库 git add . git commit -m “branch test”上传分支到githubgit pu

2017-11-15 12:42:24 228

原创 zookeeper javaapi 的使用测试

http://search.maven.org/中查询到zookeeper的依赖在pom.xml中加入 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.5</version> </dependency>创

2017-11-04 00:50:50 293

原创 zookeeper 集群安装

zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的也就是说zookeeper需要安装在奇数台机器上(一台和两台效果是一样的)安装步骤 1.解压zookeeper2.配置文件(/conf/zoo.cfg) cp zoo_sample.cfg zoo.cfgvi zoo.cfg设置数据存储路径 dataDir=/home/hadoop/bda/tmp/

2017-11-03 16:07:42 178

原创手动编译Java hdfs访问程序

由于服务器在云端，vpn不好搭建，本地无法调试程序，只要本地写好代码传到服务器去编译运行了. 不知道有没有好的远程访问hdfs的访问，知道的大神希望能指点一二.1.本地写好java代码传到服务器~/tmp/lib/java_example目录下import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileS

2017-11-01 19:58:09 271

Inequality-Sign的博客