Stevenson-Gavin-CSDN博客

原创 Chrome插件baiduexporter+aria2百度网盘下载

Chrome插件baiduexporter+aria2百度网盘下载这篇博客主要为了解决百度网盘下载限速以及linux等操作系统无百度客户端的问题。主要包括两个方面第一个是aria2的安装，aria2是一款优秀的多线程下载器，不光可以下载百度网盘下载器也可以作为普通的下载器以及接管chrome等浏览器的下载器。安装aira2下载器win下的安装安装还是比较简单的直接下载最新的压缩包进行解压然后主要配置

2017-11-17 10:23:59 28540 4

原创 Hadoop源码之ToolRunner

关于ToolRunner的典型实现方法关于ToolRunner1.该类没有继承任何类,也没有实现任何的接口 2.该类可以运行那些实现可Tool接口的应用程序,其实现是通过调用类中的run()方法 3.run()方法有两种形式: public static int run(Configuration conf, Tool tool, String[] args) ; public stati

2017-08-08 21:36:28 456

原创括号匹配Java实现

给定一串只有左右括号的字符串要求判断该字符串是否完全匹配，这是括号匹配中最简单的题目，很多解法是基于堆栈实现的，堆栈实际需要O(n)的空间复杂度，实际上这道题用O(1)的空间负复杂度完全可以实现，基本原理等同于堆栈实现。思路就是设置一个变量count当遇到左括号的时候+1，遇到右括号的时候-1，一旦在遍历的过程中出现了非左右括号或者count为负数的时候，直接返回false。当遍历结束的时候若c

2017-07-20 10:27:34 1787

原创 Java读取txt文件和写入txt文件

写Java程序时经常碰到要读如txt或写入txt文件，特此整理一下，简单易用。具体代码如下：import java.io.*;import java.util.ArrayList;import java.util.List;public class cintxt { public static void main(String args[]) { String st

2017-07-20 09:06:27 553

原创利用辗转相除法求两个数的最大公约数的Java实现

两个整数的最大公约数是能够同时整除它们的最大的正整数。辗转相除法基于如下原理：两个整数的最大公约数等于其中较小的数和两数的差的最大公约数。例如，252和105的最大公约数是21（252 = 21 × 12；105 = 21 × 5）；因为252 − 105 = 21 × (12 − 5) = 147，所以147和105的最大公约数也是21。在这个过程中，较大的数缩小了，所以继续进行同样的计算可以不断

2017-07-20 09:03:22 1743

原创 Java链接MySql数据库范例

首先下载JDBC链接驱动，mysql的JDBC官网；也可以在maven官网查找pom文件maven的JDBC 具体的链接代码如下：import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;public class MySQL

2017-07-20 08:53:04 548

原创 Hdaoop权威指南中java编译

Hadoop权威指南中的程序有的需要在linux命令行编译，以第三版书中的第63页的3.5.1中的范例3-1为例说一下编译运行过程：首先是代码如下： public class URLCat { static { URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

2017-07-20 08:07:25 355

原创 HDFS基本命令

hadoop的基本命令与Linux命令很相似，这里列举一下基本的HDFS命令。命令基本格式：hadoop fs -cmd < args >但建议使用以下格式：hdfs dfs -cmd < args >1、ls 列出hdfs文件系统根目录下的目录和文件：hadoop fs -ls /列出hdfs文件系统所有的目录和文件：hadoop fs -ls -R /注：“/”可以是任意文件路径经。

2017-07-19 23:12:16 317

原创 expect编程

Expect是Unix系统中用来进行自动化控制和测试的软件工具，由Don Libes制作，作为Tcl脚本语言的一个扩展，应用在交互式软件中如telnet，ftp，Passwd，fsck，rlogin，tip，ssh等等。该工具利用Unix伪终端包装其子进程，允许任意程序通过终端接入进行自动化控制；也可利用Tk工具，将交互程序包装在X11的图形用户界面中。用Expect语言主要是为了对集群进行管理

2017-07-19 18:14:54 670

原创 sqoop的安装

首先下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 地址是sqoop官网下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 可以用wget命令下载；解压缩到/usr/local/下；将解压后的文件名用mv命令重命名为sqoop；为了以后方便新手操作强烈建议为sqoop赋权限。修改环境变量：vim

2017-07-19 17:28:21 536

原创 Hbase1.2.0完全分布式安装

注：对于全分布式的HBase安装，需要通过hbase-site.xml文档来配置本机的HBase特性，由于各个HBase之间通过zookeeper来进行通信，因此需要维护一组zookeeper系统。本次实在两台linux电脑中安装Hbase。1、安装Hbase（1）下载hbase版本本次安装下载hbase-1.2.0-bin.tar.gz版本（2）解压hbase-1.2.0-bin.ta

2017-07-19 17:18:19 442

原创 Spark的submit命令

在win系统下的Idea编译spark自带的JavaWordCount代码，到apache的官网下载对应的spark包spark-1.5.0-bin-hadoop2.6.tgz，从 spark-1.5.0-bin-hadoop2.6\examples\src\main\java\org\apache\spark\examples找到JavaWordCount源码在Idea上进行编译，编译的时候要导

2017-07-19 16:58:01 971

原创 Zookeeper安装

1.概述操作系统为2台ubuntu虚拟机，其ip地址分别为hadoop 192.168.3.63hadoop 192.168.3.64jdk版本为jdk7；所用的zookeeper为zookeeper-3.4.8stable版本。2.zookeeper安装一下操作在每一个节点执行2.1 zookeeper文件解压缩将zookeeper解压到/usr/local/目录下，将zookeeper

2017-07-19 16:45:14 440

原创基于Hadoop的Spark完全分布式安装

第一步安装scala第二步Spark安装第三步Spark简单实例运行第一步安装scala安装spark之前首先要安装scala。再官方网站上下载对应的scala安装文件，这里下载的是scala-2.10.4版本，用命令行下载过程如下wget http://www.scala-lang.org/download/2.10.4.html然后向下寻找相应的链接，其中就有对应Unix系统的，w3

2017-07-19 16:27:44 383

原创 Hadoop的部署教程

Hadoop的部署教程第一步创建hadoop用户第二步系统更新第三步安装SSHserver、配置SSH无密钥登录第四步安装Java环境第五步网络配置第六步安装Hadoop第七步配置集群分布式环境第八步执行分布式实例因为该教程是在三台远程虚拟机上搭建的，三台虚拟机的IP地址如下： 192.168.3.53 作为Mater 192.168.3.54 作为Slave1 192.

2017-07-19 15:54:02 1092

原创解决IDEA调试Hadoop程序中无法加载本地库的问题

Idea hadoop native

2017-06-22 16:44:14 2027

原创链表的翻转

链表的翻转链表的翻转分为部分翻转，和全部翻转。本文，实现了一种通用的链表翻转程序，其时间复杂度为n。链表如下：程序中包含如下类：１、Node类，即链表的节点，节点中只有一个属性iData；class Node { public int iData; Node nextNode = null; public Node(int iData) { this

2017-04-29 20:45:49 393

原创带权图的最小生成树问题

带权图的最小生成树问题假设共有六个定点，分别为命名为０-５，如下图所示：根据图构建出邻接矩阵adjMat[][]如下（其中权值为-1表示该两点之间没有路径）： adjMat[][] 0 1 2 3 4 5 0 -1 6 -1 4 -1 -1 1 6 -1 10 7 7 -1 2 -1 10

2017-04-21 15:30:22 7622

原创继承

Java的继承在没有调用父类的setter和getter方法时，继承只能是父类向下传递数据，而子类无法向父类传递数据　　//定义Fruit父类class Fruit { private int weight = -1; public void info() { System.out.println("I am a fruit ,and I weight

2017-03-19 16:34:45 253

Stevenson的博客