光明宇宙-CSDN博客

原创 hadoop日志分析系统三最终通过Web接口与用户交互

暂未实现，与传统javaEE项目并无太大区别

2013-11-09 13:01:36 1172

原创 hadoop日志分析系统二第二部分利用hadoop平台进行数据处理第三种方式 hive+sqoop+zookeeper方式

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和

2013-11-09 12:59:36 1301 1

原创 hadoop日志分析系统二第二部分利用hadoop平台进行数据处理第二中种方式 mapreduce方式

通过hbase处理hdfs储存的原始数据，根据明确的用户需求对hdfs中的数据进行二次处理，然后后进行储存和添加索引，便于用户查看具体实现： Hbase所创建的表的结构是固定的，表由行键、列族、列族中的具体的列组成因为任务调度有周期间隔，故其无法做到真正的实时查询所以hbase中的每条数据来自每次mapreduce的处理结果所以hbase添加数据的方式就是在每次的mapreduc

2013-11-09 12:57:48 780

原创 hadoop日志分析系统二第二部分利用hadoop平台进行数据处理第一种方式 mapreduce方式

直接通过mapreduce进行处理，把分析的结果存放到多个文件中，或者关系型数据库中去，以被用户查看具体实现： publicstaticvoid main(String[] args) throws Exception{ Job job = new Job(new Configuration(), HeiMaCount.class.getSimpleName());

2013-11-09 12:56:18 1258

原创 hadoop日志分析系统二第一部分利用任务调度系统定期的把web系统所产生的日志文件导入到hdfs中

利用Quartz任务调度框架定期将网站产生的日志数据文件通过hadoop的hdfs的api加入到集群的hdfs中具体实现：通过配置文件设置调度模式，通过调度框架的api调用hdfs的api实现定期往hdfs中添加文件 publicclass QuartzJob { publicvoid work() { readFile(); } } pu

2013-11-09 12:54:13 990 1

原创 hadoop日志分析系统一 Hadoop的认识

Hadoop是一个分布式的大数据处理平台核心组成： HDFS分布式文件系统：高度容错的分布式文件存储系统 MapReduce并行计算模型：一种计算的模型 Common组件：hadoop的核心组件其它组件： HBase：高可靠性、高性能、面向列、可伸缩的分布式存储系统 Hive：数据仓库 Sqoop：结构化数据与hadoop管理的数据进行转换 ZooKerp

2013-11-09 12:50:53 1020

原创做一个思考者系列之--编程这件事（手稿版）

编程这事，往大了说去，是很简单的一件事，就是给机器下命令而已。我们知道，我们生活所用的语言，是由笔画组合，组成文字，文字再组合，组成词语，词语再结合语法，组成句子，句子组成文章。有很明显的层级关系，是吧？想想我们所处的世界，由最简单的碳分子，到有机物，到单细胞，再到多细胞，再到动植物，最后就是我们五光十色的大千世界。同样有很明显的层级关系，对吧？根据层级关系，最底层的东东，

2013-11-08 16:16:33 841 1

转载实现虚拟机VMware上linux与windows互相复制与粘贴

解决问题：实现虚拟机VMware上linux与windows互相自由复制与粘贴。如在同一个系统下ctrl+c 与ctrl+v一样方便。解决了只能通过U盘摆渡复制的繁琐问题。系统环境：虚拟机VMware上运行的ubuntu（linux）系统， win7系统。解决方法：只需要在ubuntu安装一个vmware-tools的工具。 1.打开虚

2013-08-22 19:32:14 3904

原创 JAVAEE 之web服务器应用程序Tmocat 和web应用程序的目录结构

Tomcat是使用java语言开发web应用的时候常用的服务器应用程序，是Apache开源组织提供的免费开源软件。 Tomcat的目录结构： bin--存放tomcat启动关闭所用的批处理文件 conf--tomcat的配置文件，最终要的是server.xml *实验:修改servlet.xml,更改tomcat运行所在的端口号，从8080改为80 lib

2013-05-03 20:37:31 1057

原创 java笔记银行取号系统

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 需求：银行业务调度系统模拟实现银行业务调度系统逻辑，具体需求如下：  银行内有6个业务窗口，1 - 4号窗口为普通窗口，5号窗口为快速窗口，6号窗口为VIP窗口。  有三种对应类型的客户：VIP客户，普通客户，快速客户（办理如交水电费、电话费之类业务的客户）

2013-04-18 03:17:59 1371

原创 java笔记交通灯系统的理解

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 业务需求：  异步随机生成按照各个路线行驶的车辆。例如：由南向而来去往北向的车辆 ---- 直行车辆由西向而来去往南向的车辆 ---- 右转车辆由东向而来去往南向的车辆 ---- 左转车辆

2013-04-18 03:16:59 1019

原创 java笔记 GUI

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 创建图形化界面： 1.创建窗体 2.基本设置 3.定义组件 4.将组件添加到窗体中去 5.通过窗体的setVisible(true); 事件监听机制： 1.事件源 awt或者swing包中的那些图形界面组件 2.事件

2013-04-18 03:16:43 618

原创 java笔记 File类

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ File类：文件管理类类中常量： static String separator 与系统有关的默认名称分隔符，为了方便，它被表示为一个字符串。

2013-04-17 23:38:51 490

原创 java笔记字节流和其他常用流对象

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 与字符流不同的是，使用的是系统默认的编码方式！写入流写入数据的时候不用使用flush()方法刷可以读写媒体文件，尽量不用字符流读写媒体文件流操作的基本操作规律：通过两个明确来完成： 1.明确源和目的。

2013-04-17 05:16:35 533

原创 java笔记 IO流之字符流

---------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 常用类：类 FileWriter 文件读取类继承自OutputStreamWriter 类：是字符流通向字节流的桥梁构造函数：FileWriter(String fileName) 根据给定的文件名构造一个 FileWriter 对象。该文件会被

2013-04-17 00:56:59 512

原创 java笔记一些常用类

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ System类：系统类，描述系统信息 static Properties getProperties() 确定当前的系统属性。 static String setProperty(

2013-04-14 21:32:26 398

原创 java笔记 Map集合

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ Map集合特点：该集合储存键值对，成对储存并要保证键的唯一性！常用方法：删除 void clear() 从此映射中移除所有映射关系（可选操作）。 V remove(Object key) 如果存在一个键的映射关系，则将其从此映射中移除（可选

2013-04-14 17:19:13 451

原创 java笔记泛型

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 泛型：就是广泛的类型泛型：JDK1.5版本以后出现的新特性。用于解决安全问题是一个类型安全机制好处： 1.将运行时期出现的问题ClassCastException转移到了编译时期，方便程序员发现和解决问题，使程

2013-04-13 21:02:45 393

原创 java笔记集合总结

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ Collection集合类中的方法（集合中的方法适用于其所有子类）集合中储存的是对象的内存地址值 boolean add(E e) 往集合中添加一个元素（可选操作）。 boolean addAll(Collection c) 将指定 co

2013-04-13 17:38:07 489

原创 java笔记多线程总结

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ Thread类中的几个常用方法和字段： static int MAX_PRIORITY 线程可以具有的最高优先级(10级)。 static int MIN_PRIORITY 线程可以具有的最低优先级(1级)。 static i

2013-04-12 22:16:26 642

原创 java笔记基本数据类型包装类

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 几个新特点：其他进制转换成十进制： Integer.parseInt("其他进制类型数据",进制大小) Integer x=4;//主动装箱，隐式调用new Integer(4); x = x+2; //等号右面的符号自动拆箱(隐式调用x

2013-04-11 22:45:00 397

原创 java笔记 StringBuffer容器笔记

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ StringBuffer是一个字符串容器，类似于数组盛放数据，但是有所不同： StringBuffer储存的是不确定类型和个数的变量，最终会转化成字符串，其大小不固定！数组储存的固定类型和个数的变量，大小在其声明时就已经确

2013-04-11 20:45:27 477

原创 java笔记 String类中的方法总结

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ String是一个特殊类，任何一个确定的字符串都是其子类！其对象是不可变的，大部分对其进行的操作都会产生新的字符串对象，必要时可以使用StringBuffer代替String以节省内存。 String类中常用的方法：查找方法：查找字符串中的某些数

2013-04-11 14:55:10 695

原创 java感悟从文件到匿名对象帮别人回答的答案

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 计算机怎么储存数据的？计算机是个二进制机器，我们知道电流具有磁效应，通过电路的开关可以改变一个小磁针的N极所指示的方向，这些都知道吧？如果不知道，真得滚去百度了！！！！通过磁盘，磁盘上的磁道中的小磁粒的不同指向，代表0和1，这里的一个0或1代表数据存储单位中的

2013-04-11 01:59:52 560

原创 Java笔记内部类

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 内部类：类中之类适用特点：类的内部具有可以抽象的事物（即此事物也有有属性和行为，用程序的眼光来看能抽象出一个类），这时就用内部类来描述这种事物。内部类只有定义在成员变量的位置上时才能被private或static修饰内部类位于成员变量的位置上时且非私

2013-04-10 21:07:56 405

原创 java笔记 java中异常的总结

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 异常：通过面向对象的方式将对问题的描述信息进行封装，封装成对异常类。异常体系： Throwable |--Error （错误）

2013-04-10 19:53:01 488

原创 java思考接口解惑——即生活中的接口和程序中接口的区别

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ interface：接口，在java用来约定功能。我们学习接口的过程中，很多老师会用生活中的接口来类比程序中的接口，这样就导致了学习时会产生一些疑惑，下面就是对这些疑惑的解答。首先回答几个问题： 1.程序中的接口指的是什么？ 2.生活中的接口指的是什么？

2013-04-08 01:55:37 1101

原创 java笔记抽象类和接口总结

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 抽象关键字：abstract 能修饰：类和类中的方法抽象类和抽象方法的特点： 1.抽象方法一定在抽象类中 2.抽象方法和抽象类都必须被abstract关键字修饰 3.因为调用抽象方法没有意义，故java规定抽象类不能new对象 4.抽象类中的方法想要被调

2013-03-29 23:52:58 441

原创 java笔记单例模式

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 单例模式：顾名思义，就是让程序使用者只在任何时候就只能创建一个实例化对象。基本实现思想： 1.不能让其他类随便建立该类的对象 2.同时可以在本类中生产一个自己的对象 3.可以对外提供获取本类中以生产的对象的方法这样就可以保证，本类的对象在堆内存中只有一个，而对

2013-03-28 23:46:20 468

原创 java笔记对象的创建和对象调用方法的详细过程

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 代码如下： public class TestSequence { public static void main(String[] args) { Person p = new Person("li si");//语句1.构造一个Person对象 p.s

2013-03-28 00:36:15 881

原创 java笔记 static关键字详解

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ static关键字作用：修饰符，用于修饰成员对象（成员函数、成员变量）和代码块。切记：不可修饰局部对象(因为其优先级较高)。存放区域：被static修饰的对象，位于共享区内，而非堆内存中。执行顺序：被static修饰的对象，随着类的加载而加载，且优

2013-03-26 01:25:45 532

原创解决win7下IE10只能以管理员身份运行

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 今天安装了EditPlus，悲催的是IE10打不开了，在网上找了好久，终于找到解决方案了！ 1.　Win + R，输入 regedit，定位到 HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\M

2013-03-25 19:36:17 818

原创 java笔记 this关键字的含义和用处

----------- android培训、java培训、java学习型技术博客、期待与您交流！ ------------ 代码如下： public class Person { String name; public Person(String name){ this.name = name; } } 我们在写构造函数的时候经常会用到this关键字，下面就是th

2013-03-22 23:46:22 1118

光明宇宙