kissytm121-CSDN博客

原创 Hadoop中的一些基本操作

Hadoop中的一些基本操作先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。1、列出HDFS文件：1hadoop fs –ls

2018-01-20 12:07:11 685

原创 hadoop集群搭建

1.按照搭建单机环境的配置，重新搭建另外两台hadoop机器，直接把master的hadoop安装目录复制到另外两台机器上，并配置环境变量修改各机器的主机名，命令为htdb1，htdb2其中 master机器为 hadoop两个salve为 htdb1,htdb2/etc/sysconfig/network2.在各机器 /etc/hosts 中配置对应关系

2018-01-20 09:02:47 176

原创 Linux远程复制和文件查看基本命令

scp -r scala root@htdb1:/usr/lib/scale使用less查看文件，在command模式下用G跳到文件末尾，可以f或b来翻页。

2018-01-20 09:00:20 787

转载 Java总结篇系列：Java泛型

一. 泛型概念的提出（为什么需要泛型）？首先，我们看下下面这段简短的代码: 1 public class GenericTest { 2 3 public static void main(String[] args) { 4 List list = new ArrayList(); 5 list.add("qqyumidi

2018-01-15 10:55:43 135

转载 Java中Synchronized的用法

原文：http://blog.csdn.net/luoweifu/article/details/46613015作者:luoweifu转载请标名出处《编程思想之多线程与多进程(1)——以操作系统的角度述说线程与进程》一文详细讲述了线程、进程的关系及在操作系统中的表现，这是多线程学习必须了解的基础。本文将接着讲一下Java线程同步中的一个重要的概念synchroni

2018-01-15 10:26:09 159

转载 java面试题

面向对象编程（OOP） Java是一个支持并发、基于类和面向对象的计算机编程语言。下面列出了面向对象软件开发的优点：代码开发模块化，更易维护和修改。代码复用。增强代码的可靠性和灵活性。增加代码的可理解性。面向对象编程有很多重要的特性，比如：封装，继承，多态和抽象。下面的章节我们会逐个分析这些特性。封装封装给对象提

2018-01-15 10:12:41 236 1

原创 Spark相关知识

1.常见术语 RDD : 弹性分布式数据集(Resilient Distributed Datasets),是分布式只读的且已分区的集合对像。这些集合是弹性的，如果数据集丢失，可以对他们进行重建。具有自动容错、位置感知调度和可伸缩性，而容错性是最难实现的。大多数据分布式数据集的容错性有两种方式：数据检查点和记录数据更新。对于大规模数据分析系统，数据检查点操作成本很高，主要原因是大规模数据在

2018-01-12 13:44:56 134

kissytm121的博客