自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(90)
  • 资源 (2)
  • 收藏
  • 关注

转载 Maven零散笔记——常用配置

Maven用了一段时间了,基本上被我摆平了。结合Eclipse跟Bamboo,Maven还是相当给力的! 先整理下已知内容,以免过早遗忘,甚至丢失! 相关链接: Maven零散笔记——常用配置 Maven零散笔记——配置Nexus pom.xml基础配置: maven中,最让我迷惑的还是那一堆配置! 就拿这个属性配置来说: Xml代码  

2015-09-11 11:12:04 619

原创 CentOS MySQL数据库导出导入

mysql数据库的导入导出可以用数据库备份工具mysqldumpmysqldump工具是mysql自带的一个非常方便的一款小工具,存在mysql安装目录的/usr/local/mysql/bin (CentOS)是下。mysqldump 和 mysql一样,都是应用程序,你在mysql下是执行不了的。切记 ,输入 mysqldump –help 可查年相关信息。mysqldump可

2015-07-16 16:25:43 4175

原创 mysql5.1.73配置主从服务器

一、安装MySQL这里就详解,请度娘。二、配置MySQL主服务器(10.241.226.110)mysql  -uroot  -p    #进入MySQL控制台create database testdb;   #建立数据库testdb#授权用户mysqlcopy只能从10.241.226.111这个IP访问主服务器10.241.226.110上面的数据库,并且

2015-07-15 18:37:22 317

原创 Java中try,catch,finally的用法

Java中try,catch,finally的用法,以前感觉还算熟悉,但看到一篇博文才有更深点的理解,总结网友博客如下。Java异常处理的组合方式:1.try+catch 运行流程:运行到try块中,如果有异常抛出,则转到catch块去处理。然后执行catch块后面的语句 2.try+catch+finally 运行流程:运行到try块中,如果有异常抛出,则转到catc

2015-04-10 10:30:50 16037 2

原创 java中抽象类和接口有什么区别

抽象类(abstract class):含有abstract修饰符的类。它不能创建实例对象;含有abstract方法的类必须定义为abstract class;abstract class类中的方法不必是抽象的;abstract class类中定义抽象方法必须在具体子类中实现,所以,不能有抽象构造方法或抽象静态方法;如果的子类没有实现抽象父类中的所有抽象方法,那么子类也必须定义为abstrac

2015-04-02 14:31:00 5580 1

转载 java构造器的执行顺序

构造器是OOP的重要组成部分,很多人认为它很容易。只不过是new了一个对象而已。而think in java的作者却告诉我们,其实这并不容易。先看下面这个例子。在你没看结果之前,你觉得你的答案是对的么。[java] view plaincopypackage com.tudou.t1;    class Meal {      M

2015-03-25 11:41:14 759

原创 eclipse中报错:java.lang.OutOfMemoryError: Java heap space

问题:在eclipse中运行java程序,去重100多万的数据,报如下错误:java.lang.OutOfMemoryError: Java heap space异常原因:在JVM中如果98%的时间是用于GC且可用的 Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置。JVM在启动的时候会自

2015-03-19 13:44:57 1555

原创 2015小米校招技术类笔试题

一. 问答题1. 大家对回文串不陌生吧?一个字符串从前看和从后看如果一样的话,就是回文串。比如“上海自来水来自海上”就是一个回文串。现在我们的问题来了,把一个数字看成字符串,问它是不是一个回文数?这么简单的题目对想要成为小米工程师的你来说肯定不是问题。不过提醒一下哦:时间复杂度和空间复杂度越低的算法,得分越高。C++:bool isPalindromeNumber(long num)

2015-01-26 10:12:22 1565

原创 java变量默认值

Java 语言要求变量遵循先定义,再初始化,然后使用的规则。变量的初始化是自从变量定义以后,首次给它赋初值的过程。一、成员变量JVM将为类的instance和static变量赋上缺省值(默认值),包括数组array中的每一个元素--而不用再写初始化赋值语句。final变量没有默认值,必须在构造器结束前赋值。默认值如下:1、整数类型(byte、short、int、long)默认值为0

2015-01-12 09:51:58 3774 2

转载 线程安全的单例模式java实现

主要是Head first--Design Patterns 关于单例模式的介绍,本文略有增删改。1. 全局变量的缺点:   必须在程序一开始就创建好对象,如果程序在这次的执行过程中又一直没用到它,就非常耗费资源。 2. 经典的单例模式实现:public class Singleton { //用一个静态变量来记录Singleton类的唯一实例 p

2015-01-11 10:50:23 612

原创 JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError: Java heap space

问题描述:在项目中需要连接mysql,查询上千上万的记录,每个字段都挺大。结果在Eclipse中报如下错误: java.lang.OutOfMemoryError: Java heap space原因分析:mysql会将查询到的记录全部发送到java端保存,而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是

2015-01-05 14:52:19 2955 1

转载 Paoding、mmseg4j、IK Analyzer添加自定义词典

1. 使用Paoding自定义词典参考文章:http://blog.csdn.net/zhangt85/article/details/8067743(1)首先自定义一个XXX.dic的文件,以utf-8保存,放到dic目录下任何地方都行;(2)删除.compile文件夹有时候我们自定义词典的时候,发现不起作用,那么我们需要查看分词模式。庖丁有两种分词模式:most-wor

2014-12-25 15:24:31 2219

原创 ictclas4j进行中文分词

ICTCLAS是中科院计算所开发的中文分词程序包,在国内一直有着良好的口碑和很高的使用率。之前一直只有 C++的版本提供,而现在C#,Delphi和Java版本已经纷纷出炉。下面是java版的例子。纯Java版本的ICTCLAS(即ictclas4j),下载地址:http://pan.baidu.com/s/1jGGFXNS(这是0.9.1版的,官网经常打不开,这是我在百度云盘的分享)

2014-12-23 16:04:47 2344

原创 nutch+mysql gb2312网页源代码中文乱码

问题描述:将nutch爬的网页源代码存在mysql中,网页编码为gb2312的网页中文乱码,其他编码暂未发现问题。因为nutch对爬下的网页源代码content不作任何处理,仅仅保存,而我的mysql编码设置的为utf-8,所以会显示乱码。现在需要处理网页源代码,取出指定数据,那么java程序如何将gb2312中文乱码的网页源代码转化为非乱码。解决:其实采用ResultSe

2014-12-16 14:35:18 1287

原创 java实现快速排序

快速排序对冒泡排序的一种改进,若初始记录序列按关键字有序或基本有序,蜕化为冒泡排序。基本思想通过一躺排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按次方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。一趟排序过程如下:具体代码public class Quic

2014-12-07 15:00:24 682

转载 Jsoup中select方法详解

问题采用CSS或类似jquery 选择器(selector)语法来处理HTML文档中的数据。方法利用方法:Element.select(String selector)和Elements.select(String selector)。File input = new File("/tmp/input.html");Document doc = Jsoup.parse

2014-12-05 16:01:51 5808

原创 Hive的UDF实现及注意事项

Hive自身查询语言HQL能完成大部分的功能,但遇到特殊需求时,需要自己写UDF实现。以下是一个完整的案例。1、eclipse中编写UDF①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar(Hadoop目前最新版本2.5.1)。②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类,类中

2014-11-19 21:26:22 3958

转载 Java之类与对象(三)

类与对象之类的复用(继承、组合、代理)此章我们主要谈下面向对象编程的代码复用机制。继承继承是OOP中最为重要的概念,达到了非常有效的代码重用效果,使得开发效率变得很高!同时也因此,造成了OOP语言执行效率低下,不免被C/C++程序员嘲笑。在Java语言中,两个类之间通过extends关键字实现继承。我们来看个继承的实例:[java] view plain

2014-11-10 14:39:20 604

原创 IP地址、子网掩码、默认网关、DNS服务器、DHCP服务器详解

今天重新复习下网络知识,借鉴了很多网友的博文,整理出这篇博文,主要内容是:IP地址、子网掩码、默认网关、DNS服务器、DHCP服务器。1、IP地址IP是32位二进制数据,通常以十进制表示,并以“.”分隔。IP地址是一种逻辑地地址,用来标识网络中一个个主机,IP有唯一性,即每台机器的IP在全世界是唯一的。2、子网掩码要想理解什么是子网掩码,就不能不了解IP地址的构

2014-11-09 10:42:17 9939

原创 2015大众点评网(校园招聘)软件研发笔试题

第一部分测试是智力测试题。所有应聘者均需参加,考试时间40分钟,题型有三种。(一)言语理解类。类似于公务员考试中的言语理解,削弱型较多,每题5个选项,共15道。(二)数量关系。基本的数学运算,记得的题型有概率题、勾股定理、分式等一些基本的数学运算,10道,四个选项(三)选择题。我之前没见过这种题型,很晕。先给5个有前提条件的选项,下面的10道题均是根据假设回答。很是不懂。

2014-11-06 10:14:31 1312

转载 RHadoop安装与使用

RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者,有更强大的工具处理大数据。1G, 10G, 100G, TB,PB 由于大数据所带来的单机性能问题,可能会一去联复返了。RHadoop实践是一套系列文章,主要包

2014-11-02 18:12:37 1172

原创 Hadoop笔试和面试题

1、hadoop中Combiner的作用?1)combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)2、com

2014-10-31 15:09:01 157

原创 Java参数传递方式

Java参数传递方式分为基本类型参数传递和对象类型参数传递。

2014-10-25 09:49:28 1294

原创 hadoop分布式平台优化

Hadoop性能调优不仅是自身的调优,还应包括底层硬件、操作系统等。下面逐一介绍:1、底层硬件Hadoop采用的是master/slave的架构,master(resourcemanager或namenode)要维护元数据信息、调度等,任务量及重要性远大于slave,因此尽量将master高配置。2、操作系统1)增大最大文件描述符的数量和网络连接上限(作用明显)

2014-10-18 19:59:00 799

原创 hadoop常见错误

hadoop常见错误集锦:1.DataXceiver error processing WRITE_BLOCK operationERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-11-58:50010:DataXceiver error processing WRITE_BLOCK operation sr

2014-10-17 14:02:15 2179

原创 hadoop中fsimage和edits的区别

1、概念:fsimage保存了最新的元数据检查点。edits保存自最新检查点后的命名空间的变化。2、工作原理:从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化。这种机制有个问题:因edits存放在Name

2014-10-15 21:54:16 3246

原创 hbase完全分布式安装与配置

hbase完全分布式安装与配置,hbase安装与配置,hbase安装

2014-10-12 10:30:27 4981

原创 ZooKeeper完全分布式安装与配置

ZooKeeper介绍请见官网。1.环境说明在两台装有centos6.4(32位)的服务器上安装ZooKeeper,官网建议至少3个节点,资源有限,本次实验就2台了。需要提前安装jdk,选择的版本是jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1mgICcFA2.配置主机名和ip映射的关系。ZooKeeper集群

2014-10-11 21:56:12 6403

原创 hive安装与配置

1.先决条件要先安装hadoop,安装详细见:http://blog.csdn.net/hwwn2009/article/details/398894652.安装hive1)下载hive,注意hive版本与hadoop版本兼容wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.1

2014-10-09 17:09:24 1076

转载 HDFS文件操作常用命令

Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。       1.  查看文件列表查看hdfs中/user/admin/hdfs目录下的文件。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -ls /user/admin/hdfs查看hdfs中/user/admin/hdfs目录下的所有文件(包括子目

2014-10-08 15:45:28 2168

原创 centos6.4安装hadoop-2.5.1(完全分布式)

环境介绍:在两台装有centos6.4(32位)的服务器上安装Hadoop-2.5.1分布式集群(2台机器,主要试验用,哈哈)。1.修改主机名和/etc/hosts文件1)修改主机名(非必要)vi /etc/sysconfig/networkHOSTNAME=XXX重启后生效。2)/etc/hosts是ip地址和其对应主机名文件,使机器知道ip和主机名对应关系,格

2014-10-08 09:10:58 3715

原创 centos配置ssh免密码登录后,仍提示输入密码

CentOS 下SSH无密码登录的配置最近学习Hadoop。它要求各节点之间通过SSH无密码登录,配置SSH的时候费了一番功夫,记录下来,以备忘。配置SSH无密码登录需要3步:    1.生成公钥和私钥    2.导入公钥到认证文件,更改权限    3.测试1.生成公钥和私钥   Shell代码  

2014-10-07 10:58:57 5403 1

转载 R语言之各种检验

1、W检验(Shapiro–Wilk (夏皮罗–威克尔 ) W统计量检验)     检验数据是否符合正态分布,R函数:shapiro.test().     结果含义:当p值小于某个显著性水平α(比如0.05)时,则认为    样本不是来自正态分布的总体,否则则承认样本来自正态分布的总体。2、K检验(经验分布的Kolmogorov-Smirnov检验)     

2014-09-25 10:01:28 2985

原创 单反相机基本介绍

1、A档(自动挡)。2、AV档(光圈优先)

2014-09-12 14:30:35 741

转载 R语言矩阵(matrix)详解

数据:1 3 9 8 9 80 14 2 7 88 1 22 2131 2 44 9 10 9 10使用矩阵表示1)向量转化为矩阵c—>matrixtmp_matrixtmp_matrixtmp_matrix或者tmp_matrixtmp_matrixtmp_matrix数据:col1 col2 col3 col4 col5 col6 col

2014-09-11 14:18:44 29427 1

转载 R语言绘图详解

除了低级作图命令之外,图形的显示也可以用绘图参数来改良。绘图参数可以作为图形函数的选项(但不是所有参数都可以这样用),也可以用函数par来永久地改变绘图参数,也就是说后来的图形都将按照par指定的参数来绘制。例如,下面的命令:> par(bg="yellow")将导致后来的图形都以黄色的背景来绘制。有73个绘图参数,其中一些有非常相似的功能。这些参数详细的列表可以参阅?pa

2014-09-09 15:25:33 17620

原创 sql面试常见问题

您能向我简要叙述一下SQL Server 2000中使用的一些数据库对象吗?   您希望听到的答案包括这样一些对象:表格、视图、用户定义的函数,以及存储过程;如果他们还能够提到像触发器这样的对象就更好了。如果应聘者不能回答这个基本的问题,那么这不是一个好兆头。   什么是索引?SQL Server 2000里有什么类型的索引?   任何有经验的数据库开发人员都应该能够很轻易地回答这个问题。

2014-09-04 16:24:57 1770

转载 数据预处理

对于数据分析而言,什么是核心?答案显而易见---数据。但是并不是所有的数据都是有用的,大多数数据是参差不齐的,概念层次不清的,数量级不同的,这就给后续的数据分析和数据挖掘带来的极大的麻烦,甚至导致错误的结论。所以有必要对数据进行预处理,接着就来讨论下数据预处理技术。     通常数据预处理包含四个部分:数据清理、集成和变换、规约以及概念分层。     数据清理又包含:遗漏值处理、噪音数据处

2014-09-03 16:20:41 1029

原创 孤立点检测的几种方法

又称为异常检测,离群值检测等什么是孤立点?孤立点是一个观测值,它与其它观测值的差别如此之大,以至于怀疑它是由不同的机制产生的孤立点的一些场景1 网站日志中的孤立点,试图入侵者2 一群学生中的孤立点,天才 or 白痴?3 天气数据,灾害,极端天气4 信用卡行为,试图欺诈者5 低概率事件,接种疫苗后却发病的6 实验误差或仪器和操作问题造成的错误数据

2014-09-02 15:23:33 6958

原创 主成分分析及R语言实现

概念:Pearson于1901年提出,再由Hotelling(1933)加以发展的一种多变量统计方法通过析取主成分显出最大的个别差异,也用来削减回归分析和聚类分析中变量的数目可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析成分的保留:Kaiser主张(1960)将特征值小于1的成分放弃,只保留特征值大于1的成分如果能用不超过3-5个成分就能解释变异的80%,就算是

2014-09-01 21:27:23 2401

大数据管理概念、技术与挑战

详细介绍了大数据管理概念、技术、挑战、趋势

2013-06-20

myeclipse使用教程

myeclipse详细使用教程、详细使用技巧

2013-06-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除