li10080115的专栏

转载 linux sort

linux sort 命令详解sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1 sort的工作原理 sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txtban

转载 sql where 1=1和 0=1 的作用

sql where 1=1和 0=1 的作用where 1=1; 这个条件始终为True，在不定数量查询条件情况下，1=1可以很方便的规范语句。一、不用where  1=1  在多条件查询中的困扰　　举个例子，如果您做查询页面，并且，可查询的选项有多个，同时，还让用户自行选择并输入查询关键词，那么，按平时的查询语句的动态构造，代码大体如下：　　strin

转载 JAVA String equal 和 ==

首先大家知道，String既可以作为一个对象来使用，又可以作为一个基本类型来使用。这里指的作为一个基本类型来使用只是指使用方法上的，比如String s = "Hello"，它的使用方法如同基本类型int一样，比如int i = 1;，而作为一个对象来使用，则是指通过new关键字来创建一个新对象，比如String s = new String("Hello")。但是它的内部动作其实还是创建了一个对

原创 常见排序算法

public static boolean less(Comparable v, Comparable t) { return v.compareTo(t) < 0; } public static void exch(Comparable[] a, int i, int j) { Comparable t = a[i]; a[i]

原创 常见排序算法

public static boolean less(Comparable v, Comparable t) { return v.compareTo(t) < 0; } public static void exch(Comparable[] a, int i, int j) { Comparable t = a[i]; a[i]

原创 SpingMvc RequestMapping 用法

小结下spring mvc中的@RequestMapping的用法。  1）最基本的，方法级别上应用，例如：     Java代码  @RequestMapping(value="/departments")  public String simplePattern(){      System.out.println("simplePattern method

转载 Hive 中的 Join 问题

Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job。对于最基本的HQ

转载 MyBatis使用教程

MyBatis Generator中文文档MyBatis Generator中文文档地址：http://mbg.cndocs.tk/该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。本文中所有节点的链接都是对应的中文文档地址，可以点击查看详细信

转载 springMVC+maven+mybatis+Intellij IDEA环境搭建

假设我们已经下载好了IDEA，并成功安装到本机。接下来我们创建一个Maven项目，首先new project,选择Maven，构建一个空的Maven项目，在创建Maven项目的时候，需要输入GroupId和ArtiFactId以及Version，三者简称GAV，先简单介绍一下GAV名词感念。GroupId表示项目的名称，ArtiFactId表示项目的模块名称（建议用项目名称-模块名称来表示），Ve

原创 原生JDBC的缺点

JDBC实现基本的CRUD示例private static void insertTest() throws SQLException{    String dbURL = "jdbc:mysql://localhost/test";    Connection con = DriverManager.getConnection(dbURL, "root", "123"); 

原创 牛客网错题20150817

1    已知一个二叉树的前序遍历结果是（ACDEFHGB） ，中序遍历结果是（DECAHFBG）,请问后续遍历结果是（）。根据前序遍历可以确定根节点为A， 再根据中序遍历可以确定A的左侧为左子树DEC，A的右侧为右子树HFBG 再根据前序遍历得到左子树的根节点为C，右子树的根节点为F，然后递归下去就能恢复二叉树 然后后续遍历得到结果

转载 前缀 后缀 中缀 表达式

它们都是对表达式的记法，因此也被称为前缀记法、中缀记法和后缀记法。它们之间的区别在于运算符相对与操作数的位置不同：前缀表达式的运算符位于与其相关的操作数之前；中缀和后缀同理。举例：(3 + 4) × 5 - 6 就是中缀表达式- × + 3 4 5 6 前缀表达式3 4 + 5 × 6 - 后缀表达式中缀表达式（中缀记法）中缀表达式是一种通用的算术或逻辑公式

原创 JobTracker与TaskTracker的关系

JobTracker  对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTra

原创 JobTracker与TaskTracker的关系

原创 Java 读取配置文件

//读取properties文件 //配置相对路径Metadata hbaseMeta = new Metadata("/config/hbase.properties");//读取properties中的hello.worldString value=hbaseMeta.getValue("hello.world");//输出值System.out.println(v

原创 git 教程

1 创建版本库 mkdir gitTestcd gitTestgit init 2 添加修改的代码vi add.htmlgit add add.htmlgit commit -m "add"3 创建新的分支默认是主分支 mastergit branch lishiwei //创建新的分支 lishiweigit s

原创 Hbase Java Api 基本操作

package Test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDe

转载 Hadoop 心跳机制解析

心跳的机制大概是这样的：1) master启动的时候，会开一个ipc server在那里。2) slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。2、找到心跳的代码拿namenode和datanode来说，在datanode的offerServi

原创 权威指南MapReduce 最高气温计算

package hdfs;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;imp

原创 正则匹配简单的例子

1 * hel*o标识的是l可以出现0次或多次 helo hello helllo2  .点符号用于匹配任意一个字符...73.

原创 vi 快捷键

10分钟 教你学会Linux/Unix下的vi文本编辑器　　vi编辑器是Unix/Linux系统管理员必须学会使用的编辑器。看了不少关于vi的资料，终于得到这个总结。不敢独享，和你们共享。 　　首先，记住vi编辑器的两个模式：1、命令模式 2、编辑模式。 　　在一个UNIX/Linux的shell命令或者一个以斜杠（/）、问号（?）或冒号（:）开始的vi命令后面用户需要键入回车键，

转载 Linux 用户操作

Linux添加/删除用户和用户组本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户：adduser phpq                             //新建phpq用户passwd phpq                               //给phpq用户设置密码2、建工作组groupadd test       

转载 hbase shell 的基本操作

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表有

转载 Hbase 简介

一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache

原创 Java Mac Eclipse Console 显示全部的输出

preference->run/debug->console设置limit console output 为false，方便调试时，查看全部console

原创 Java synchronized 和 loc 的实例

public class Account { private String accountNo; public String getAccountNo() { return accountNo; } public void setAccountNo(String accountNo) { this.accountNo = accountNo; } private doubl

原创 Java 获取 Unix 时间戳

String time = "/Date(1423107970393+0800)/"; time = time.substring(6, 19); Long timestamp = Long.parseLong(time); String date = new java.text.SimpleDateFormat("yyyy-MM-dd") .format(new java.u

原创 HttpClient 的基本操作

final HttpClient httpClient = new HttpClient();GetMethod getMethod = new GetMethod("http://www.baidu.com");int statue = httpClient.executeMethod(getMethod);System.out.println("response="+getMethod.g

原创 正则表达式规则

转载 正则的贪婪与非贪婪模式

正则表达式贪婪与非贪婪模式之前做程序的时候看到过正则表达式的贪婪与非贪婪模式，今天用的时候就想不起来了，现在这里总结一下，以备自己以后用到注意。1.什么是正则表达式的贪婪与非贪婪匹配　　如：String str="abcaxc";　　　　Patter p="ab*c";　　贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式p匹配字符串str，结果就是匹配到：abcax

原创 java 连接 jdbc

package jdbc;import java.sql.*;public class Test { public static void main(String[] args) { // 驱动程序名 String driver = "com.mysql.jdbc.Driver"; // URL指向要访问的数据库名scutcs String url = "jdbc:m

原创 sleep() 和 yield()方法的区别

1 sleep方法暂停当前线程后 会给其他线程执行机会 不用考虑其他线程的优先级 但是yield()方法只能让优先级》=自己的线程使用2 sleep方法会将线程转入阻塞状态 直到经过阻塞时间才回转入就绪状态 而yield()不会将线程转入阻塞状态 而是强制的将它转入就绪状态 。因此可能出现暂停后立马有获得处理器资源被执行3 sleep生命必须对InterruptedException进行处

原创 Java异常处理

package book;package book;public class MyException extends Exception{ /** * */ private static final long serialVersionUID = 1L; public MyException(String ErrorMessage){ super(Er

转载 爬虫宽度优先遍历

最近学习自己动手写网络爬虫书中涉及到了图的宽度优先遍历，其中很重要的一点是图的宽度优先遍历需要一个队列（队列的特点：先进先出）作为保存当前节点的子节点的数据结构。以上图为例图的宽度优先遍历算法描述为：    1.首先访问顶点A，将顶点A入队    2.之后因为要访问A的邻接点，应先将A出队（我认为当要访问某个节点的邻接点时，应先将

原创 HDFS 的 JAVA操作

package hdfs;import java.net.URL;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;public class Crud { static final String PATH = "hdfs://master:9000

转载 hdfs体系结构

HDFS简介      HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。      1.  HDFS有以下几个主要特点：     处理超大文件：存储的一个超大文件可以达

转载 hadoop 主节点备份策略和恢复方法

一、dits和fsimage     首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后

原创 Java中的4种权限

private: Java语言中对访问权限限制的最窄的修饰符，一般称之为“私有的”。被其修饰的类、属性以及方法只能被该类的对象访问，其子类不能访问，更不能允许跨包访问。default：即不加任何访问修饰符，通常称为“默认访问模式“。该模式下，只允许在同一个包中进行访问。protect: 介于public 和 private 之间的一种访问修饰符，一般称之为“保护形”。被其修饰的类、属性以及方法只能

原创 Java中 Int 和String 的相互转换

System.out.println(Integer.toBinaryString(6));//将6转换成2进制System.out.println(Integer.MAX_VALUE);//取出整数类型的最大值System.out.println(Integer.parseInt("23")+4);//将string类型的装换成int类型的Syst

原创 Hadoop 伪分布式配置

需要的软件:virtual box