- 博客(486)
- 资源 (5)
- 收藏
- 关注
原创 Linux(CentOS)下安装Elasticsearch5.0.0
一.ES5.0解压安装到Windows之后(可能)需要进行的设置:1.如果不设置,直接运行elasticsearch.bat 文件 ,会报错:2.解决方式 调节 conf/jvm.options 配置文件这里采取调小ES占用的内存: 默认配置如下图,初始化和最大内存大小为2G调节为1g之后再运行bin/elasticsearch.bat文件就可以正常启动了....
2017-11-17 19:20:00
180
原创 SQL中EXPLAIN命令详解
explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。使用方法,在select语句前加上explain就可以了:如:explain select surname,first_name form a,b where a.id=b.id 1、EXPLAIN tbl_nameEXPLAIN tbl_name是...
2017-10-30 08:14:00
249
原创 面试题:请写出线程同步相关的方法,以银行账号存储款为例
一.该面试题主要考察多线程中的synchronized或者Lock的使用* 线程同步 :使用同步方法,实现线程同步* 同步synchronized方法的对象监视锁为this,当前对象* 多个线程使用同一把锁,如果线程安全必需确保:多个线程使用的是同一个this对象(Runnable适用于共享同一对象[如:this],如果Thread继承就会有问题[推荐使用Runnable])...
2017-10-24 21:51:00
160
原创 Shell中判断文件,目录是否存在
一. 具体每个选项对应的判断内容:-e filename 如果 filename存在,则为真 -d filename 如果 filename为目录,则为真 -f filename 如果 filename为常规文件,则为真 -L filename 如果 filename为符号链接,则为真 -r filename 如果 filename可读,则为真 -w file...
2017-10-21 21:26:00
125
原创 MapReduce的二次排序
附录之前总结的一个例子:http://www.cnblogs.com/DreamDrive/p/7398455.html另外两个有价值的博文:http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.htmlhttp://blog.csdn.net/heyutao007/article/details/58901...
2017-10-19 16:50:00
112
原创 MapReduce中的Join
一. MR中的join的两种方式:1.reduce side join(面试题)reduce side join是一种最简单的join方式,其主要思想如下:在map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value对,对每条数据打一个标签(tag),比如:tag=1表示来自文件File1,tag=2表示来自文件File2。即:map阶...
2017-10-19 15:10:00
95
原创 MapReduce实现ReduceSideJoin操作
本文转载于:http://blog.csdn.net/xyilu/article/details/8996204一.准备两张表以及对应的数据(1)m_ys_lab_jointest_a(以下简称表A)建表语句:create table if not exists m_ys_lab_jointest_a ( id bigint, name...
2017-10-19 13:41:00
165
原创 SQL中的Join和Where的区别
一.sql语句中left join、inner join中的on与where的区别0.各种join操作的概念和作用 left join :左连接,返回左表中所有的记录以及右表中连接字段相等的记录。 right join :右连接,返回右表中所有的记录以及左表中连接字段相等的记录。 inner join: 内连接,又叫等值连接,只返回两个表中连接字段相等的行。 ...
2017-10-18 23:20:00
383
原创 java中String、StringBuffer、StringBuilder的区别
本文部分转自于:http://www.cnblogs.com/xudong-bupt/p/3961159.html1.可变与不可变 String类中使用字符数组保存字符串,如下就是,因为有“final”修饰符,所以可以知道string对象是不可变的。 private final char value[];附录部分String类的源码:public fina...
2017-10-15 21:01:00
131
原创 Flume的各种类型的组件介绍
1. SourceNetCat Source:绑定的端口(tcp、udp),将流经端口的每一个文本行数据作为Event输入;type:source的类型,必须是netcat。bind:要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑,对应多个IP。port:绑定的本地的端口。Avro Source:监听一个a...
2017-10-07 17:03:00
283
原创 Oracle的条件in包含NULL时的处理
一.创建一个含表,表中只有一列为id,该列中含有值为NULL的记录我们在写SQL时经常会用到in条件,如果in包含的值都是非NULL值,那么没有特殊的,但是如果in中的值包含null值(比如in后面跟一个子查询,子查询返回的结果有NULL值),Oracle又会怎么处理呢?创建一个测试表t_inlinuxidc@linuxidc>create table t_in(i...
2017-09-28 21:53:00
328
原创 Quartz的使用案例
一.介绍项目中的调度任务可以使用Quartz任务调度框架1、Job接口:这个接口里面只定义了一个方法,excutevoid execute(JobExecutionContext context) 然后定义一个类实现该接口,就可以定义自己需要执行的任务了,JobExecutionContext类提供调度上下文的各种信息2、JobDetail:用于描叙...
2017-09-27 20:53:00
85
原创 人脸识别&ORC的Demo
一.用到的jar包:face_sdk-1.3.4.jarjson-20160810.jarocr_sdk-1.3.4.jar下载地址:https://files.cnblogs.com/files/DreamDrive/ocrdemo.rar二.测试代码FaceDetect.java 1 import java.util.HashMap; 2 3...
2017-09-27 20:36:00
225
原创 Struts标签<bean:write><logic:iterate></logic:equal>的组合使用小例
form表单中的一个下拉列表控件的代码如下 <select name="taskname" id="taskname" class="select01"> <option value="">-任务类型-</option> <logic...
2017-09-26 22:46:00
119
原创 java.util.regex包下的Pattern类和Matcher类的使用总结
一.介绍Java正则表达式通过java.util.regex包下的Pattern类与Matcher类实现1.Pattern类用于创建一个正则表达式,也可以说创建一个匹配模式,它的构造方法是私有的,不可以直接创建,但可以通过Pattern.complie(String regex)简单工厂方法创建一个正则表达式.2.Matcher类的构造方法也是私有的,不能随意创建,只能通过Pat...
2017-09-26 15:18:00
165
原创 Java获取URL中的顶级域名domain的工具类
方式一: 1 import java.net.MalformedURLException; 2 import java.net.URL; 3 import java.util.Arrays; 4 import java.util.HashSet; 5 import java.util.Set; 6 import java.util.regex.Pattern;...
2017-09-25 22:25:00
768
原创 正则表达式matcher.group用法
group是针对括号()来说的,group(0)就是指的整个串,group(1) 指的是第一个括号里的东西,group(2)指的第二个括号里的东西。上代码: 1 @Test 2 public void test1() { 3 Pattern pattern = Pattern.compile("页面下载失败\\.url:\\[http:...
2017-09-25 22:11:00
111
原创 Oracle 插入时间时 报错:ORA-01861: 文字与格式字符串不匹配 的解决办法
一.写sql的方式插入到Oracle中往oracle中插入时间 '2007-12-28 10:07:24'如果直接按照字符串方式,或者,直接使用to_date('2007-12-28 10:07:24'),没有指定日期格式,就会报错:ORA-01861: 文字与格式字符串不匹配必须指定日期格式to_date('2007-12-28 10:07:24' , 'yyyy-mm-dd ...
2017-09-21 17:51:00
386
原创 Maven项目报错:Missing artifact****和ArtifactDescriptorException: Failed to read artifact descriptor for**...
一.关于Cannot change version of project facet Dynamic web module to 2.5具体查看博客:http://blog.csdn.net/steveguoshao/article/details/38414145但是按照以上博文进行修改的时候需要根据自己本地jdk的版本来改. 如果你的本地是JDK1.7,就不要按照博文中写的把...
2017-09-21 11:26:00
97
原创 使用jdk的keytool 生成CA证书的方法
一、CA证书生成设置总共分为以下5步:步骤:1、根据java的keytool生成CA根证书,放在服务器2、根据服务器CA根证书导出客户端证书3、tomcat增加SSL配置4、客户端IE浏览器导入受信任客户端证书5、使用客户端IE浏览器通过https协议访问portal第一步:cmd到jdk的bin目录下执行 生成CA证书keytool -genkey ...
2017-09-14 21:36:00
258
原创 Linux shell逐行读取文件的方法
方法1:while循环中执行效率最高,最常用的方法。function while_read_line_bottom(){ while read line do echo $line done < $FILENAME}注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执...
2017-09-14 20:13:00
97
原创 ArrayList的实现原理
ArrayList的线性复杂度是1.想确定一个数据,直接通过索引进行访问.实际上这个过程和数组是非常相似的.ArrayList在整个使用过程中,如果想要高效操作,最好设置一个数组的大小.在个数固定的情况下,ArrayList里面避免了重复开辟空间的问题,所以当你确定数据个数的时候,就使用ArrayList.如果不确定的时候就使用LinkedList(链表实现). 时间复杂度是N ,而Ar...
2017-09-13 10:25:00
55
原创 时间复杂度总结
本文转载于:http://blog.csdn.net/zolalad/article/details/11848739一、时间复杂度是一种事前分析估算的方法 因事后统计方法更多的依赖于计算机的硬件、软件等环境因素,有时容易掩盖算法本身的优劣。因此人们常常采用事前分析估算的方法。 在编写程序前,依据统计方法对算法进行估算。一个用高级语言编写的程序在计算...
2017-09-12 21:46:00
307
原创 RPC的原理总结
一.RPC的引入早期单机时代,一台电脑上运行多个进程,大家各干各的,老死不相往来。假如A进程需要一个画图的功能,B进程也需要一个画图的功能,程序员就必须为两个进程都写一个画图的功能。这不是整人么?于是就出现了IPC(Inter-process communication,单机中运行的进程之间的相互通信)。OK,现在A既然有了画图的功能,B就调用A进程上的画图功能好了,程序员终于可以偷...
2017-09-12 20:01:00
98
原创 hashcode和equals方法的区别和联系
说到 hashcode就要和Java中的集合,HashSet,HashMap 关系最为密切。首先附录两张Java的集合结构图:图二:(上图的简化版)从Set集合的特点说起 & Set是如何去除重复元素的:Set:元素不可以重复,是无序的。Set接口中的方法和Collection一致(看上面的集合框架图)。 |--HashSet: 内部数据结构...
2017-09-12 14:43:00
137
原创 消息队列的应用场景总结
一.消息队列的应用场景引入一个故事:该故事转载于:(https://www.zhihu.com/people/qi-da-fang/answers 祁达方的回答)小红是小明的姐姐。小红希望小明多读书,常寻找好书给小明看,之前的方式是这样:小红问小明什么时候有空,把书给小明送去,并亲眼监督小明读完书才走。久而久之,两人都觉得麻烦。后来的方式改成了:小红对小明说「我放到书...
2017-09-12 13:53:00
64
原创 Java中IO流中的装饰设计模式(BufferReader的原理)
本文粗略的介绍下JavaIO的整体框架,重在解释BufferReader/BufferWriter的演变过程和原理(对应的设计模式)一.JavaIO的简介流按操作数据分为两种:字节流与字符流.流按流向分为:输入流(读),输出流(写)。字符流由来就是:早期的字节流+编码表,为了更便于操作文字数据。记住:只要是操作字符数据,应该优先使用字符流。字节流的抽象基类:In...
2017-09-12 11:05:00
443
原创 Java访问文件夹中文件的递归遍历代码Demo
上代码: 1 import java.io.File; 2 3 /* 4 * 需求:对指定目录进行所有内容的列出(包含子目录中的内容) 5 * 也可以理解为 深度遍历。 6 */ 7 public class FindAllFilesInFolder { 8 public static void main(String[] args) ...
2017-09-12 10:24:00
72
原创 JavaNIO的总结
一.简介NIO(Non-blocking I/O,在Java领域,也称为New I/O),在jdk1.4 里提供的新api 。Sun 官方标榜的特性如下: 为所有的原始类型提供(Buffer)缓存支持,字符集编码解码解决方案。Channel :一个新的原始I/O 抽象。 支持锁和内存映射文件的文件访问接口。 提供多路(non-bloking) 非阻塞式的高伸缩性网络I/O 。N...
2017-09-12 10:03:00
165
原创 HashMap的实现原理总结
本文部分转载于:http://blog.csdn.net/vking_wang/article/details/141665931. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储,但这两者基本上是两个极端。数组数组存储区间是连续的,占用内存严重,故空间复杂的很大。但数组的二分查找时间复杂度小,为O(1);数组的特点是:寻址容易,插入和删除困难;...
2017-09-11 16:09:00
106
原创 hive中解决中文乱码
一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是...
2017-09-03 13:59:00
181
原创 启动HDFS之后一直处于安全模式org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node ...
一.现象三台机器 crxy99,crxy98,crxy97(crxy99是NameNode+DataNode,crxy98和crxy97是DataNode)按正常命令启动HDFS之后,HDFS一直处于安全模式(造成启动Hive的时候失败,不能向HDFS上写数据),正常情况下是在启动的前30秒处于安全模式,之后就退出了.可以采取强制退出安全模式的方式;安全模式的相关命令:...
2017-08-31 18:06:00
468
原创 设置JVM参数的几种方式解决java.lang.OutOfMemoryError:Java heap space
一.首先给出查询当前JVM内存的代码:下面是查询当前JVM 内存大小的代码,可以测试设置后JVM 的内存是否会变化。增加JVM 内存的配置项后,无需重新启动eclipse 。具体的代码如下: 1 public class JvmArguments { 2 public static void main(String[] args) { 3 Sy...
2017-08-29 13:11:00
212
原创 Java获取随机数获取制定范围指定个数不重复的随机数
一.JDK中提供的两种方式1.Math类中的random()方法public static double random()返回带正号的 double 值,该值大于等于 0.0 且小于 1.0 [0.0,1.0)。返回值是一个伪随机选择的数,在该范围内(近似)均匀分布。2.Random类中的 nextInt()方法public int nextInt()返回一个随机数,所有 2的3...
2017-08-28 18:02:00
296
原创 Java代码操作HDFS测试类
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URLorg.apache.hadoop.fs.FsUrlStreamHandlerFactoryjava.net.URIorg.apache.hadoop.conf.Configurat...
2017-08-25 16:39:00
114
原创 Java读取文件加锁代码Demo(利用Java的NIO)
本博文部分转载于:http://blog.csdn.net/wangbaochu/article/details/48546717Java 提供了文件锁FileLock类,利用这个类可以控制不同程序(JVM)对同一文件的并发访问,实现进程间文件同步操作。FileLock是Java 1.4 版本后出现的一个类,它可以通过对一个可写文件(w)加锁,保证同时只有一个进程可以拿到文件的锁,...
2017-08-24 21:07:00
124
原创 Java是值传递还是引用传递
1.Java到底是值传递还是引用传递?首先找到一个面试题及答案:当一个对象被当作参数传递到一个方法后,此方法可改变这个对象的属性,并可返回变化后的结果,那么这里到底是值传递还是引用传递?是值传递。Java 编程语言只有值传递参数。当一个对象实例作为一个参数被传递到方法中时,参数的值就是对该对象的引用。对象的内容可以在被调用的方法中改变,但对象的引用是永远不会改变的。...
2017-08-20 18:53:00
74
原创 MapReduce中的倒排索引
0.倒排索引资料:http://blog.csdn.net/pzasdq/article/details/514428561.三个日志源文件:a.txthello tomhello jerryhello tomb.txthello jerryhello jerrytom jerryc.txthello jerryhe...
2017-08-20 16:20:00
64
原创 MapReduce中的partitioner
1.日志源文件:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-...
2017-08-20 13:43:00
157
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人