dianhuopao7502-CSDN博客

转载报表生成笔记

1、导出csv的时候，在excel打开乱码需要以下列字节数组开头final byte[] bom = new byte[] { (byte)0xEF, (byte)0xBB, (byte)0xBF };参考：http://www.xuebuyuan.com/1787757.html转载于:https://www.cnblogs.com/hpuCode/p...

2016-06-15 11:18:00 141

转载 String、StringBuilder、StringBuffer对比

参考：http://swiftlet.net/archives/1694http://www.cnblogs.com/springcsc/archive/2009/12/03/1616326.htmlString　　字符串（character strings），不是线程安全的StringBuilder　　非线程安全的字符串序列（A mutable sequence of...

2016-06-03 10:53:00 121

转载 ThreadLocal源码

2016-05-24 10:35:00 121

转载编程思想——访问权限控制

Java中共有三种修饰符，四种权限控制范围：范围从大到小依次为：public - 对外公开protected - 继承可见无修饰符 - 包内可见private - 类内可见转载于:https://www.cnblogs.com/hpuCode/p/5472679.html...

2016-05-09 09:16:00 95

转载设计模式——访问者模式

　　访问者模式是对象的行为模式。访问者模式的目的是封装一些施加于某种数据结构元素之上的操作。一旦这些操作需要修改的话，接受这个操作的数据结构则可以保持不变。主要角色　　抽象访问者：抽象类或者接口，声明访问者可以访问哪些元素，具体到程序中就是visit方法中的参数定义哪些对象是可以被访问的。　　访问者：实现抽象访问者所声明的方法，它影响到访问者访问到一个类后该干什么，要做什么事情。...

2016-05-04 17:44:00 106

转载 Object窥探

2016-04-22 16:35:00 84

转载设计模式——观察者模式

　　有时被称作发布/订阅模式，观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有观察者对象，使它们能够自动更新自己。模式中的角色　　抽象主题（Subject）：它把所有观察者对象的引用保存到一个聚集里，每个主题都可以有任何数量的观察者。抽象主题提供一个接口，可以增加和删除观察者对象。　　具体主题（ConcreteSu...

2016-04-22 16:08:00 65

转载设计模式——模板方法模式

　　模板方法模式是类的行为模式。准备一个抽象类，将部分逻辑以具体方法以及具体构造函数的形式实现，然后声明一些抽象方法来迫使子类实现剩余的逻辑。不同的子类可以以不同的方式实现这些抽象方法，从而对剩余的逻辑有不同的实现。这就是模板方法模式的用意。优点　　1、封装不变部分，扩展可变部分。　　2、提取公共部分代码，便于维护。　　3、行为控制交由子类来实现。（开闭原则）缺点　　按照...

2016-04-21 13:15:00 82

转载设计模式——装饰者模式

　　Decorator模式（别名Wrapper）：动态将职责附加到对象上，若要扩展功能，装饰者提供了比继承更具弹性的代替方案。　　意图：动态地给一个对象添加一些额外的职责。就增加功能来说，Decorator模式相比生成子类更为灵活。要点：　　1、装饰者和被装饰对象有相同的超类型。　　2、可以用一个或多个装饰者包装一个对象。　　3、装饰者可以在所委托被装饰者的行为之前或之后，加上自己的...

2016-04-15 17:04:00 67

转载设计模式——代理模式

　　给某一个对象提供一个代理，并由代理对象控制对原对象的引用。在一些情况下，一个客户不想或者不能直接引用一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。关于代理模式种类的划分，我个人认为不能分为种类的划分，他们只是在不同领域或者说方向上的应用而已：　　远程（Remote）代理：为一个位于不同的地址空间的对象提供一个局域代表对象。这个不同的地址空间可以是本电脑中，也可以在...

2016-04-15 14:10:00 73

转载 OutputStream窥探

2016-04-15 08:54:00 81

转载设计模式——适配器模式

　　适配器模式把一个类的接口变换成客户端所期待的另一种接口，从而使原本因接口不匹配而无法在一起工作的两个类能够在一起工作。所涉及的角色有：　　目标(Target)角色：这就是所期待得到的接口。注意：由于这里讨论的是类适配器模式，因此目标不可以是类。　　源(Adapee)角色：现在需要适配的接口。　　适配器(Adaper)角色：适配器类是本模式的核心。适配器把源接口转换成目标接口。...

2016-04-14 15:19:00 98

转载设计模式——创建者模式

　　将一个“复杂对象的构建算法”与它的“部件及组装方式”分离，使得构件算法和组装方式可以独立应对变化；复用同样的构建算法可以创建不同的表示，不同的构建过程可以复用相同的部件组装方式。　　客户端不需知道创建的具体细节，只需对指挥者下命令，这就解耦了客户端和创建者，这个指挥者感觉有点像一个工厂，但是工厂模式解决的是对象的构造，而创建者模式解决的是对象创建过程中的排列组合。实现要点...

2016-04-13 14:55:00 81

转载设计模式——概述

　　姗姗来迟的学习，边学习边总结吧。设计模式的重要性就不多说了，为什么要用设计模式需要说吗？也不需要吧，有兴趣的可以看看：http://zhuanlan.zhihu.com/p/198357171、创建型模式　　对象的创建会消耗掉系统很多资源，所以单独对对象的创建进行研究，从而能够高效的创建对象就是创建型模式要探讨的问题。常见的创建型模式：简单工场模式（Simple Fact...

2016-04-07 17:11:00 88

转载 flume介绍以及环境的部署

收集、聚合时间流数据分布式框架。通常用户log数据采用ad-hoc方案，明显有点如下：可靠的、可伸缩、可管理、可定制、高性能声名式配置，可以动态配置提供上下文路由功能支持负载均衡和故障转移功能丰富完全可扩展核心概念event、client、agent、sources/channel/sink其他组件：interceptors/channel......

2016-03-27 03:37:00 92

转载 HDFS小文件处理——Mapper处理

处理小文件的时候，可以通过org.apache.hadoop.io.SequenceFile.Writer类将所有文件写出到一个seq文件中。大致流程如下：实现代码：package study.smallfile.sequence_one;import java.io.IOException;import org.apache.had...

2016-03-21 09:44:00 132

转载 HDFS 小文件处理——应用程序实现

　　在真实环境中，处理日志的时候，会有很多小的碎文件，但是文件总量又是很大。普通的应用程序用来处理已经很麻烦了，或者说处理不了，这个时候需要对小文件进行一些特殊的处理——合并。　　在这通过编写java应用程序实现文件的合并并上传到HDFS。整体的处理思路是，从本地加载琐碎的小文件并写到HDFS中。package study.smallfile.javaapp;im...

2016-03-20 18:06:00 104

转载 kafka的环境搭建

kafka是一个高吞吐量的消息系统。隔离消息接收和处理过程（可理解为一个缓存）1、kafka伪分布的部署1.1、下载并解压1.2、启动zkbin/zookeeper-server-start.sh config/zookeeper.properties*发布和订阅通过zk实现，kafka设计就使用了zk1.3、启动kafka的服务bin/kafka...

2016-03-15 01:44:00 86

转载 Storm集群的搭建

storm的环境和hadoop的环境没有任何关系1、安装Zookeeper集群2、解压storm3、修改文件conf/storm.yaml3.1、配置zookeeper服务器storm.zookeeper.servers: - "hadoop112" - "hadoop113" - "hadoop114"3.2、配置...

2016-03-15 00:45:00 59

转载 Pig简单入门

pig是hadoop客户端，使用类似于SQL的面向数据流的语言pig latin,这个语言可以完成排序，过滤，求和，关联等操作，可以支持自定义函数。Pig自动把pig latin 映射为Map-Reduce作业上传到集群运行，减少用户编写java程序的苦恼。Pig是专门用于处理来自于HDFS的数据的。Pig提供了一套流式的数据处理语言，转换为MapReduce，来处理HDFS中的...

2016-02-26 23:48:00 157

转载 HBase学习笔记

关键类：HBaseAdmin 管理Hbase的，主要负责DDL操作HTable 管理表中数据，主要负责DML操作1、为了避免热点，更多的建表方法在Shell中： create 'tb_splits',{NAME=>'cf',VERSION=>3},{SPLITS=>['a','b','c']}--直接创建多个region的table,每...

2016-02-26 23:12:00 63

转载 HBase的Shell操作

1、进入命令行bin/hbase shell2、输入help 查看各种命令组。命令是分组的，可以执行help 'general'查看general组的命令。3、常用命令--显示有哪些表list --显示表的DDL信息describe '表名'--创建表create 'table name','family name'... create ...

2016-02-26 23:02:00 73

转载 Zookeeper集群和HBase集群

1、部署Zookeeper集群（hadoop0\hadoop1\hadoop2）1.1、在hadoop0上解压缩Zookeeper-3.4.5.tar.gz1.2、执行命令cp conf/zoo_sample.cfg conf/zoo.cfg1.3、修改文件conf/zoo.cfgdataDir=DATA_PATHclientPort=2181...

2016-02-26 21:06:00 85

转载 Zookeeper、HBase的伪分布

1、Zookeeper伪分布的部署(3个节点)所谓的“伪分布式集群”就是在一台服务器中，启动多个Zookeeper实例。“完全分布式集群”是每台服务器，启动一个Zookeeper实例。1.1、解压缩zookeeper-3.4.5.tar.gz1.2、执行命令cp conf/zoo_sample.cfg conf/zoo1.cfg1.3、修改zoo1.c...

2016-02-24 16:26:00 199

转载 hive学习笔记——表的基本的操作

1、hive的数据加载方式1.1、load data这中方式一般用于初始化的时候load data [local] inpath '...' [overwrite] into table t1 [partition(...)]-- 如果有local是从linux磁盘加载，如果没带local是从hdfs的某个目录移动到hive中-- 带上overwrite会覆盖掉表...

2016-02-23 23:56:00 309

转载 hive 学习笔记——表的入门操作和命令

1、受控表（managed table）包括内部表、分区表、桶表；1.1、分区表创建分区表：create table banji(id INT,name STRING) partitioned by(grade INT) row format delimited fields terminated by '\t';create table member(id INT,...

2016-02-23 22:07:00 65

转载 hive环境的搭建

hive 默认用的是derby数据库存储源数据，在这改为mysql来存储；1、hive和关系数据库的对照关系hive 所要查询的数据保存在HDFS中；hive 中的数据库和表对应HDFS中的文件夹；hive 中的表中的数据对应HDFS中的文件中的数据；hive 中的表的字段对应于HDFS中数据的字段；2、hive的环境搭建2.1、修改hive-default...

2016-02-20 21:53:00 85

转载 CentOS7 安装mysql

在centos7用MariaDB代替了mysql数据库1、确保机器上有yum，执行安装命令yum install mariadb maraidb-server2、启动mariadbsystemctl start mariadb#设置开机启动systemctl enable mariadb#关闭mariadbsystemctl sto...

2016-02-20 14:07:00 61

转载 hadoop2 环境的搭建（自动HA）

zookeeper：hadoop112、hadoop113、hadoop114namenode：hadoop110和hadoop111datanode：hadoop112、hadoop113、hadoop114journalnode：hadoop110、hadoop111、hadoop112resourcemanager：hadoop110nodemanager：ha...

2016-02-20 11:57:00 73

转载 hadoop2 环境的搭建（手动HA）

1、手工切换ha的环境的搭建（比hadoop1多出来journalnode的配置）namenode：hadoop110和hadoop111datanode：hadoop112、hadoop113、hadoop114journalnode：hadoop110、hadoop111、hadoop112resourcemanager：hadoop110nodemanager：...

2016-02-19 21:04:00 60

转载 NLP基本任务-nltk_data文本分割

将文本分割为句子nltk.sent_tokenize(text,language)text:需要分割的文本language:语言种类czech捷克语danish丹麦语dutch荷兰语english英语estonian爱沙尼亚语finnish芬兰语french法语german德语greek希腊语italian意大利语...

2015-04-13 09:43:00 250

转载结巴分词标注兼容_ICTCLAS2008汉语词性标注集

计算所汉语词性标记集Version 3.0制订人：刘群张华平张浩计算所汉语词性标记集... 10. 说明... 11. 名词 (1个一类，7个二类，5个三类) 22. 时间词(1个一类，1个二类) 23. 处所词(1个一类) 34. 方位词(1个一类) 35. 动词(1个一类，9个二类) 36. 形容词(1个一类，4个二类) 37. ...

2015-04-11 08:45:00 226

转载 LingPipe-TextClassification(文本分类)

What is Text Classification?Text classification typically involves assigning a document to a category by automated or human means. LingPipe provides a classification facility that takes example...

2015-04-09 22:12:00 157

转载 WCF-学习笔记概述之计算服务（1）

　　关于WCF的介绍，在此不再赘述，其他地方应有尽有。直接开始实例，第一个实例以一个简单的计算服务为例，本人是学习了蒋金楠的《WCF全面解析》。　　1、构建解决方案　　　　Interface:用于定义服务契约（Service Contract）的类库项目，引用WCF的核心程序集System.ServiceModel.dll。　　Service:用于定义服务类型的项目...

2015-02-20 22:24:00 77

转载 SQL 分组排序分页（大神帮写的膜拜一下）

查询全部：SELECT P3.ID, P3.Name, P3.AddTimeFROM (SELECT Name, MAX(AddTime) AS MaxAddTime FROM Product AS P1 GROUP BY Name) AS P2INNER JOIN Product AS P3 ON P2.Name = P3.NameORDER BY P2.Max...

2014-11-26 10:56:00 130

转载 Ubuntu常用命令

1、查找文件命令：　　find [目录] -name "文件名"　　例如命令：find / -name a.txt　　从根目录开始查找a.txt文件2、要想检查 mysqld 进程是否已经开启，可以使用下面的命令：　　pgrep mysqld　　如果进程开启，这个命令将会返回该进程的 id　　sudo start mysql #手动的话这样启动　　sudo...

2014-10-29 20:44:00 86

转载 Ubuntu 安装mod_python配置Apache2

　　在Ubuntu上搭建Python运行环境，mod_python是不可少的（据说mod_swgi也是可以的，没有亲测）。使用命令安装mod_python。　　安装：apt-get install libapache2-mod-python　　“Apache分阶段的处理请求(比方说：读取请求,解析header, 检查存取路径,等等)。这些阶段能被称为"处理器"(han...

2014-10-29 12:02:00 97

转载 Ubuntu安装Apache

在虚拟机上安装了Ubuntu13.10 ，然后使用命令sudo apt-get install apache2 安装apache总提示“E: 未找到软件包...”,不知所踪，这可能是新手容易的犯的小错误，网上查找一番后解决掉sudo apt-get update“获得最近的软件包的列表；列表中包含一些包的信息，比如这...

2014-10-28 22:14:00 173

转载【C#设计模式——创建型模式】抽象工厂模式

　　抽象工厂模式比工厂模式具有更高层次的抽象性。当要返回一系列相关类中的某一个，而每个类都能根据需要返回不同的对象时，可以选择这种模式。直接进入示例。示例描述：完成花园的规划，多种花园种类，每个里面多种植物　　编写一个基类Garden,Garden就是抽象工厂。它定义了具体类中的方法，并返回一系列相关类中的某个类。 public class Garden {...

2014-07-11 15:55:00 54

转载【C#设计模式——创建型模式】工场方法模式

　　工场方法模式对简单工场模式进行了乔庙的扩展，不是用一个专门的类来决定实例化哪一个子类。相反，超类把这种决定延迟到每个子类。这种模式实际上没有决策点，就是没有直接选择一个子类实例化的决策。　　看书上的例子有点复杂，自己写了一个简单例子：示例目标：对数组进行定向排序基类FormatList对指定数组进行排序，具体实现交给子类实现 public abstract cla...

2014-07-11 09:43:00 65

空空如也

空空如也