- 博客(90)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Maven零散笔记——常用配置
Maven用了一段时间了，基本上被我摆平了。结合Eclipse跟Bamboo，Maven还是相当给力的！ 先整理下已知内容，以免过早遗忘，甚至丢失！ 相关链接: Maven零散笔记——常用配置 Maven零散笔记——配置Nexus pom.xml基础配置： maven中，最让我迷惑的还是那一堆配置！ 就拿这个属性配置来说： Xml代码
2015-09-11 11:12:04
625
原创 CentOS MySQL数据库导出导入
mysql数据库的导入导出可以用数据库备份工具mysqldumpmysqldump工具是mysql自带的一个非常方便的一款小工具，存在mysql安装目录的/usr/local/mysql/bin （CentOS）是下。mysqldump 和 mysql一样，都是应用程序，你在mysql下是执行不了的。切记 ，输入 mysqldump –help 可查年相关信息。mysqldump可
2015-07-16 16:25:43
4180
原创 mysql5.1.73配置主从服务器
一、安装MySQL这里就详解，请度娘。二、配置MySQL主服务器（10.241.226.110）mysql -uroot -p #进入MySQL控制台create database testdb; #建立数据库testdb#授权用户mysqlcopy只能从10.241.226.111这个IP访问主服务器10.241.226.110上面的数据库，并且
2015-07-15 18:37:22
323
原创 Java中try,catch,finally的用法
Java中try,catch,finally的用法，以前感觉还算熟悉，但看到一篇博文才有更深点的理解，总结网友博客如下。Java异常处理的组合方式：1.try+catch 运行流程：运行到try块中，如果有异常抛出，则转到catch块去处理。然后执行catch块后面的语句 2.try+catch+finally 运行流程：运行到try块中，如果有异常抛出，则转到catc
2015-04-10 10:30:50
16050
2
原创 java中抽象类和接口有什么区别
抽象类（abstract class）：含有abstract修饰符的类。它不能创建实例对象；含有abstract方法的类必须定义为abstract class；abstract class类中的方法不必是抽象的；abstract class类中定义抽象方法必须在具体子类中实现，所以，不能有抽象构造方法或抽象静态方法；如果的子类没有实现抽象父类中的所有抽象方法，那么子类也必须定义为abstrac
2015-04-02 14:31:00
5591
1
转载 java构造器的执行顺序
构造器是OOP的重要组成部分，很多人认为它很容易。只不过是new了一个对象而已。而think in java的作者却告诉我们，其实这并不容易。先看下面这个例子。在你没看结果之前，你觉得你的答案是对的么。[java] view plaincopypackage com.tudou.t1; class Meal { M
2015-03-25 11:41:14
760
原创 eclipse中报错：java.lang.OutOfMemoryError: Java heap space
问题：在eclipse中运行java程序，去重100多万的数据，报如下错误：java.lang.OutOfMemoryError: Java heap space异常原因：在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置。JVM在启动的时候会自
2015-03-19 13:44:57
1562
原创 2015小米校招技术类笔试题
一. 问答题1. 大家对回文串不陌生吧？一个字符串从前看和从后看如果一样的话，就是回文串。比如“上海自来水来自海上”就是一个回文串。现在我们的问题来了,把一个数字看成字符串,问它是不是一个回文数？这么简单的题目对想要成为小米工程师的你来说肯定不是问题。不过提醒一下哦：时间复杂度和空间复杂度越低的算法，得分越高。C++：bool isPalindromeNumber(long num)
2015-01-26 10:12:22
1569
原创 java变量默认值
Java 语言要求变量遵循先定义，再初始化，然后使用的规则。变量的初始化是自从变量定义以后，首次给它赋初值的过程。一、成员变量JVM将为类的instance和static变量赋上缺省值（默认值），包括数组array中的每一个元素－－而不用再写初始化赋值语句。final变量没有默认值，必须在构造器结束前赋值。默认值如下：1、整数类型（byte、short、int、long）默认值为0
2015-01-12 09:51:58
3807
2
转载 线程安全的单例模式java实现
主要是Head first--Design Patterns 关于单例模式的介绍，本文略有增删改。1. 全局变量的缺点： 必须在程序一开始就创建好对象，如果程序在这次的执行过程中又一直没用到它，就非常耗费资源。 2. 经典的单例模式实现：public class Singleton { //用一个静态变量来记录Singleton类的唯一实例 p
2015-01-11 10:50:23
614
原创 JDBC连接mysql，查大数据集报：java.lang.OutOfMemoryError: Java heap space
问题描述：在项目中需要连接mysql，查询上千上万的记录，每个字段都挺大。结果在Eclipse中报如下错误： java.lang.OutOfMemoryError: Java heap space原因分析：mysql会将查询到的记录全部发送到java端保存，而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是
2015-01-05 14:52:19
2977
1
转载 Paoding、mmseg4j、IK Analyzer添加自定义词典
1. 使用Paoding自定义词典参考文章：http://blog.csdn.net/zhangt85/article/details/8067743（1）首先自定义一个XXX.dic的文件，以utf-8保存，放到dic目录下任何地方都行；（2）删除.compile文件夹有时候我们自定义词典的时候，发现不起作用，那么我们需要查看分词模式。庖丁有两种分词模式：most-wor
2014-12-25 15:24:31
2224
原创 ictclas4j进行中文分词
ICTCLAS是中科院计算所开发的中文分词程序包，在国内一直有着良好的口碑和很高的使用率。之前一直只有 C++的版本提供，而现在C#，Delphi和Java版本已经纷纷出炉。下面是java版的例子。纯Java版本的ICTCLAS（即ictclas4j），下载地址：http://pan.baidu.com/s/1jGGFXNS（这是0.9.1版的，官网经常打不开，这是我在百度云盘的分享）
2014-12-23 16:04:47
2350
原创 nutch+mysql gb2312网页源代码中文乱码
问题描述：将nutch爬的网页源代码存在mysql中，网页编码为gb2312的网页中文乱码，其他编码暂未发现问题。因为nutch对爬下的网页源代码content不作任何处理，仅仅保存，而我的mysql编码设置的为utf-8，所以会显示乱码。现在需要处理网页源代码，取出指定数据，那么java程序如何将gb2312中文乱码的网页源代码转化为非乱码。解决：其实采用ResultSe
2014-12-16 14:35:18
1292
原创 java实现快速排序
快速排序对冒泡排序的一种改进，若初始记录序列按关键字有序或基本有序，蜕化为冒泡排序。基本思想通过一躺排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按次方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。一趟排序过程如下：具体代码public class Quic
2014-12-07 15:00:24
688
转载 Jsoup中select方法详解
问题采用CSS或类似jquery 选择器（selector）语法来处理HTML文档中的数据。方法利用方法：Element.select(String selector)和Elements.select(String selector)。File input = new File("/tmp/input.html");Document doc = Jsoup.parse
2014-12-05 16:01:51
5821
原创 Hive的UDF实现及注意事项
Hive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。1、eclipse中编写UDF①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar（Hadoop目前最新版本2.5.1）。②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类，类中
2014-11-19 21:26:22
3970
转载 Java之类与对象(三)
类与对象之类的复用（继承、组合、代理）此章我们主要谈下面向对象编程的代码复用机制。继承继承是OOP中最为重要的概念，达到了非常有效的代码重用效果，使得开发效率变得很高！同时也因此，造成了OOP语言执行效率低下，不免被C/C++程序员嘲笑。在Java语言中，两个类之间通过extends关键字实现继承。我们来看个继承的实例：[java] view plain
2014-11-10 14:39:20
606
原创 IP地址、子网掩码、默认网关、DNS服务器、DHCP服务器详解
今天重新复习下网络知识，借鉴了很多网友的博文，整理出这篇博文，主要内容是：IP地址、子网掩码、默认网关、DNS服务器、DHCP服务器。1、IP地址IP是32位二进制数据，通常以十进制表示，并以“.”分隔。IP地址是一种逻辑地地址，用来标识网络中一个个主机，IP有唯一性，即每台机器的IP在全世界是唯一的。2、子网掩码要想理解什么是子网掩码，就不能不了解IP地址的构
2014-11-09 10:42:17
9968
原创 2015大众点评网（校园招聘）软件研发笔试题
第一部分测试是智力测试题。所有应聘者均需参加，考试时间40分钟，题型有三种。（一）言语理解类。类似于公务员考试中的言语理解，削弱型较多，每题5个选项，共15道。（二）数量关系。基本的数学运算,记得的题型有概率题、勾股定理、分式等一些基本的数学运算，10道，四个选项（三）选择题。我之前没见过这种题型，很晕。先给5个有前提条件的选项，下面的10道题均是根据假设回答。很是不懂。
2014-11-06 10:14:31
1316
转载 RHadoop安装与使用
RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据。1G, 10G, 100G, TB,PB 由于大数据所带来的单机性能问题，可能会一去联复返了。RHadoop实践是一套系列文章，主要包
2014-11-02 18:12:37
1185
原创 Hadoop笔试和面试题
1、hadoop中Combiner的作用?1）combiner最基本是实现本地key的聚合，对map输出的key排序，value进行迭代。如下所示：map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)2、com
2014-10-31 15:09:01
164
原创 hadoop分布式平台优化
Hadoop性能调优不仅是自身的调优，还应包括底层硬件、操作系统等。下面逐一介绍：1、底层硬件Hadoop采用的是master/slave的架构，master（resourcemanager或namenode）要维护元数据信息、调度等，任务量及重要性远大于slave，因此尽量将master高配置。2、操作系统1）增大最大文件描述符的数量和网络连接上限（作用明显）
2014-10-18 19:59:00
802
原创 hadoop常见错误
hadoop常见错误集锦：1.DataXceiver error processing WRITE_BLOCK operationERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-11-58:50010:DataXceiver error processing WRITE_BLOCK operation sr
2014-10-17 14:02:15
2191
原创 hadoop中fsimage和edits的区别
1、概念：fsimage保存了最新的元数据检查点。edits保存自最新检查点后的命名空间的变化。2、工作原理：从最新检查点后，hadoop将对每个文件的操作都保存在edits中，为避免edits不断增大，secondary namenode就会周期性合并fsimage和edits成新的fsimage，edits再记录新的变化。这种机制有个问题：因edits存放在Name
2014-10-15 21:54:16
3249
原创 ZooKeeper完全分布式安装与配置
ZooKeeper介绍请见官网。1.环境说明在两台装有centos6.4（32位）的服务器上安装ZooKeeper，官网建议至少3个节点，资源有限，本次实验就2台了。需要提前安装jdk，选择的版本是jdk-6u27-linux-i586.bin，下载地址：http://pan.baidu.com/s/1mgICcFA2.配置主机名和ip映射的关系。ZooKeeper集群
2014-10-11 21:56:12
6414
原创 hive安装与配置
1.先决条件要先安装hadoop，安装详细见：http://blog.csdn.net/hwwn2009/article/details/398894652.安装hive1）下载hive，注意hive版本与hadoop版本兼容wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.1
2014-10-09 17:09:24
1148
转载 HDFS文件操作常用命令
Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。 1. 查看文件列表查看hdfs中/user/admin/hdfs目录下的文件。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -ls /user/admin/hdfs查看hdfs中/user/admin/hdfs目录下的所有文件（包括子目
2014-10-08 15:45:28
2179
原创 centos6.4安装hadoop-2.5.1（完全分布式）
环境介绍：在两台装有centos6.4（32位）的服务器上安装Hadoop-2.5.1分布式集群（2台机器，主要试验用，哈哈）。1．修改主机名和/etc/hosts文件1）修改主机名（非必要）vi /etc/sysconfig/networkHOSTNAME=XXX重启后生效。2）/etc/hosts是ip地址和其对应主机名文件，使机器知道ip和主机名对应关系，格
2014-10-08 09:10:58
3723
原创 centos配置ssh免密码登录后，仍提示输入密码
CentOS 下SSH无密码登录的配置最近学习Hadoop。它要求各节点之间通过SSH无密码登录，配置SSH的时候费了一番功夫，记录下来，以备忘。配置SSH无密码登录需要3步： 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测试1.生成公钥和私钥 Shell代码
2014-10-07 10:58:57
5420
1
转载 R语言之各种检验
1、W检验（Shapiro–Wilk (夏皮罗–威克尔 ) W统计量检验) 检验数据是否符合正态分布，R函数：shapiro.test(). 结果含义：当p值小于某个显著性水平α(比如0.05)时，则认为 样本不是来自正态分布的总体，否则则承认样本来自正态分布的总体。2、K检验(经验分布的Kolmogorov-Smirnov检验)
2014-09-25 10:01:28
3017
转载 R语言矩阵(matrix)详解
数据：1 3 9 8 9 80 14 2 7 88 1 22 2131 2 44 9 10 9 10使用矩阵表示1)向量转化为矩阵c—>matrixtmp_matrixtmp_matrixtmp_matrix或者tmp_matrixtmp_matrixtmp_matrix数据：col1 col2 col3 col4 col5 col6 col
2014-09-11 14:18:44
29473
1
转载 R语言绘图详解
除了低级作图命令之外，图形的显示也可以用绘图参数来改良。绘图参数可以作为图形函数的选项（但不是所有参数都可以这样用），也可以用函数par来永久地改变绘图参数，也就是说后来的图形都将按照par指定的参数来绘制。例如，下面的命令：> par(bg="yellow")将导致后来的图形都以黄色的背景来绘制。有73个绘图参数，其中一些有非常相似的功能。这些参数详细的列表可以参阅?pa
2014-09-09 15:25:33
17694
原创 sql面试常见问题
您能向我简要叙述一下SQL Server 2000中使用的一些数据库对象吗? 您希望听到的答案包括这样一些对象:表格、视图、用户定义的函数，以及存储过程;如果他们还能够提到像触发器这样的对象就更好了。如果应聘者不能回答这个基本的问题，那么这不是一个好兆头。 什么是索引?SQL Server 2000里有什么类型的索引? 任何有经验的数据库开发人员都应该能够很轻易地回答这个问题。
2014-09-04 16:24:57
1774
转载 数据预处理
对于数据分析而言，什么是核心？答案显而易见---数据。但是并不是所有的数据都是有用的，大多数数据是参差不齐的，概念层次不清的，数量级不同的，这就给后续的数据分析和数据挖掘带来的极大的麻烦，甚至导致错误的结论。所以有必要对数据进行预处理，接着就来讨论下数据预处理技术。 通常数据预处理包含四个部分：数据清理、集成和变换、规约以及概念分层。 数据清理又包含：遗漏值处理、噪音数据处
2014-09-03 16:20:41
1031
原创 孤立点检测的几种方法
又称为异常检测，离群值检测等什么是孤立点？孤立点是一个观测值，它与其它观测值的差别如此之大，以至于怀疑它是由不同的机制产生的孤立点的一些场景1 网站日志中的孤立点，试图入侵者2 一群学生中的孤立点，天才 or 白痴？3 天气数据，灾害，极端天气4 信用卡行为，试图欺诈者5 低概率事件，接种疫苗后却发病的6 实验误差或仪器和操作问题造成的错误数据
2014-09-02 15:23:33
7000
原创 主成分分析及R语言实现
概念：Pearson于1901年提出，再由Hotelling（1933）加以发展的一种多变量统计方法通过析取主成分显出最大的个别差异，也用来削减回归分析和聚类分析中变量的数目可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析成分的保留：Kaiser主张（1960）将特征值小于1的成分放弃，只保留特征值大于1的成分如果能用不超过3-5个成分就能解释变异的80%，就算是
2014-09-01 21:27:23
2407
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人