2017年12月_WQ同学

转载分布式资源调度系统 YARN

文章地址：http://www.haha174.top/article/details/2597071.YARN产生背景1. hadoop 1.x 时： MapReduce:Master/Slave 架构 1个JobTracker带多个TaskTracker JobTracker: 负责资源调度和作业调度 TaskTracker: 定期向jt 汇报本节点的健康状况、资源...

2017-12-17 09:34:02 5233

原创 java api 操作 hdfs

文章地址：http://www.haha174.top/article/details/2551891.简介之前说到了shell 脚本操作hdfs 现在那么本篇文章讲述java 怎么操作hdfs 使用 sh start-dfs.sh 启动 hdfs jps 查看hdfs 状态确保 hdfs SecondaryNameNode NameNode DataNode 都已经

2017-12-16 18:22:33 2901

原创手动将本地jar添加到Maven仓库

文章地址：http://www.haha174.top/article/details/256306 一、将jar添加到本地仓库的做法：以下面pom.xml依赖的jar包为例：实际项目中pom.xml依赖写法： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop

2017-12-16 10:55:50 2710

原创 shell 命令操作hdfs

简介本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境，如果没有搭建环境的可以参考这里http://www.haha174.top/article/details/251072 首先使用jps 确保 hdfs 都启动 hadoop fs

2017-12-13 08:04:44 7446

原创 hadoop-hdfs 伪分布式搭建

简介本篇文章主要介绍的是hadoop伪分布式安装hdfs. 首先要确保 jdk 配置成功了 (如果不会可以参考这篇文章http://www.haha174.top/article/details/259178) 然后下载hadoop我使用的是 hadoop-2.6.0-cdh5.7.0.tar.gz版本使用的环境是centos7 的虚拟机如果不会搭建虚拟机可以参考这篇文章（http

2017-12-12 23:51:28 3001

原创 linux 安装配置 jdk

本篇文章主要简单讲述一下 centos 中 jdk 的配置首先需要下载 jdk，最好去官网下我使用的是jdk1.8.0_121的版本 http://www.oracle.com/technetwork/java/javase/downloads/index.html 现在完成后通过tar -zxvf jak.tar.gz(文件名)进行解压进入jdk 目录输入pwd 得

2017-12-11 00:48:02 2707

转载 5. Longest Palindromic Substring

Given a string s, find the longest palindromic substring in s. You may assume that the maximum length of s is 1000.Example:Input: “babad”Output: “bab”Note: “aba” is also a valid answer.Example:Input: “

2017-12-10 23:10:54 2701

转载实现一个线程安全和非线程安全的程序计数器

JVM中的CAS操作正是利用了处理器提供的CMPXCHG指令实现的。自旋CAS实现的基本思路就是循环进行CAS操作直到成功为止，以下代码实现了一个基于CAS线程安全的计数器方法safeCount和一个非线程安全的计数器count。public class SafeCountDemo { private AtomicInteger atomicI = new AtomicInteger(0)

2017-12-06 13:03:44 3520

原创 Java多线程中join方法的理解

thread.Join把指定的线程加入到当前线程，可以将两个交替执行的线程合并为顺序执行的线程。比如在线程B中调用了线程A的Join()方法，直到线程A执行完毕后，才会继续执行线程B。 //例如 t.join(); //使调用线程 t 在此之前执行完毕。 t.join(1000); //等待 t 线程，等待时间是1000毫秒下面通过一个例子介绍一下 public class C

2017-12-06 10:30:03 2874

转载 leetcode(4) Median of Two Sorted Arrays

题目描述 There are two sorted arrays nums1 and nums2 of size m and n respectively.Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).Example 1:nums1 = [1, 3]

2017-12-04 22:08:59 2708

u012957549的博客