- 博客(486)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Linux(CentOS)下安装Elasticsearch5.0.0
一.ES5.0解压安装到Windows之后(可能)需要进行的设置:1.如果不设置,直接运行elasticsearch.bat 文件 ,会报错:2.解决方式 调节 conf/jvm.options 配置文件这里采取调小ES占用的内存: 默认配置如下图,初始化和最大内存大小为2G调节为1g之后再运行bin/elasticsearch.bat文件就可以正常启动了....
2017-11-17 19:20:00
170
原创 SQL中EXPLAIN命令详解
explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。使用方法，在select语句前加上explain就可以了：如：explain select surname,first_name form a,b where a.id=b.id 1、EXPLAIN tbl_nameEXPLAIN tbl_name是...
2017-10-30 08:14:00
234
原创 面试题:请写出线程同步相关的方法,以银行账号存储款为例
一.该面试题主要考察多线程中的synchronized或者Lock的使用* 线程同步 ：使用同步方法，实现线程同步* 同步synchronized方法的对象监视锁为this,当前对象* 多个线程使用同一把锁，如果线程安全必需确保:多个线程使用的是同一个this对象(Runnable适用于共享同一对象[如：this]，如果Thread继承就会有问题[推荐使用Runnable])...
2017-10-24 21:51:00
155
原创 Shell中判断文件,目录是否存在
一. 具体每个选项对应的判断内容:-e filename 如果 filename存在，则为真 -d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真 -L filename 如果 filename为符号链接，则为真 -r filename 如果 filename可读，则为真 -w file...
2017-10-21 21:26:00
119
原创 MapReduce的二次排序
附录之前总结的一个例子：http://www.cnblogs.com/DreamDrive/p/7398455.html另外两个有价值的博文：http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.htmlhttp://blog.csdn.net/heyutao007/article/details/58901...
2017-10-19 16:50:00
109
原创 MapReduce中的Join
一. MR中的join的两种方式：1.reduce side join(面试题)reduce side join是一种最简单的join方式，其主要思想如下：在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value对，对每条数据打一个标签（tag）,比如：tag=1表示来自文件File1，tag=2表示来自文件File2。即：map阶...
2017-10-19 15:10:00
72
原创 MapReduce实现ReduceSideJoin操作
本文转载于：http://blog.csdn.net/xyilu/article/details/8996204一.准备两张表以及对应的数据（1）m_ys_lab_jointest_a（以下简称表A）建表语句：create table if not exists m_ys_lab_jointest_a ( id bigint, name...
2017-10-19 13:41:00
142
原创 SQL中的Join和Where的区别
一.sql语句中left join、inner join中的on与where的区别0.各种join操作的概念和作用 left join :左连接，返回左表中所有的记录以及右表中连接字段相等的记录。 right join :右连接，返回右表中所有的记录以及左表中连接字段相等的记录。 inner join: 内连接，又叫等值连接，只返回两个表中连接字段相等的行。 ...
2017-10-18 23:20:00
367
原创 java中String、StringBuffer、StringBuilder的区别
本文部分转自于:http://www.cnblogs.com/xudong-bupt/p/3961159.html1.可变与不可变 String类中使用字符数组保存字符串，如下就是，因为有“final”修饰符，所以可以知道string对象是不可变的。 private final char value[];附录部分String类的源码:public fina...
2017-10-15 21:01:00
121
原创 Flume的各种类型的组件介绍
1. SourceNetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入；type：source的类型，必须是netcat。bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。port：绑定的本地的端口。Avro Source：监听一个a...
2017-10-07 17:03:00
274
原创 Oracle的条件in包含NULL时的处理
一.创建一个含表，表中只有一列为id，该列中含有值为NULL的记录我们在写SQL时经常会用到in条件，如果in包含的值都是非NULL值，那么没有特殊的，但是如果in中的值包含null值(比如in后面跟一个子查询，子查询返回的结果有NULL值)，Oracle又会怎么处理呢？创建一个测试表t_inlinuxidc@linuxidc>create table t_in(i...
2017-09-28 21:53:00
304
原创 Quartz的使用案例
一.介绍项目中的调度任务可以使用Quartz任务调度框架1、Job接口：这个接口里面只定义了一个方法,excutevoid execute(JobExecutionContext context) 然后定义一个类实现该接口，就可以定义自己需要执行的任务了，JobExecutionContext类提供调度上下文的各种信息2、JobDetail：用于描叙...
2017-09-27 20:53:00
78
原创 人脸识别&ORC的Demo
一.用到的jar包:face_sdk-1.3.4.jarjson-20160810.jarocr_sdk-1.3.4.jar下载地址:https://files.cnblogs.com/files/DreamDrive/ocrdemo.rar二.测试代码FaceDetect.java 1 import java.util.HashMap; 2 3...
2017-09-27 20:36:00
218
原创 Struts标签<bean:write><logic:iterate></logic:equal>的组合使用小例
form表单中的一个下拉列表控件的代码如下 <select name="taskname" id="taskname" class="select01"> <option value="">-任务类型-</option> <logic...
2017-09-26 22:46:00
108
原创 java.util.regex包下的Pattern类和Matcher类的使用总结
一.介绍Java正则表达式通过java.util.regex包下的Pattern类与Matcher类实现1.Pattern类用于创建一个正则表达式,也可以说创建一个匹配模式,它的构造方法是私有的,不可以直接创建,但可以通过Pattern.complie(String regex)简单工厂方法创建一个正则表达式.2.Matcher类的构造方法也是私有的,不能随意创建,只能通过Pat...
2017-09-26 15:18:00
152
原创 Java获取URL中的顶级域名domain的工具类
方式一： 1 import java.net.MalformedURLException; 2 import java.net.URL; 3 import java.util.Arrays; 4 import java.util.HashSet; 5 import java.util.Set; 6 import java.util.regex.Pattern;...
2017-09-25 22:25:00
745
原创 正则表达式matcher.group用法
group是针对括号（）来说的，group（0）就是指的整个串，group（1） 指的是第一个括号里的东西，group（2）指的第二个括号里的东西。上代码： 1 @Test 2 public void test1() { 3 Pattern pattern = Pattern.compile("页面下载失败\\.url:\\[http:...
2017-09-25 22:11:00
99
原创 Oracle 插入时间时 报错：ORA-01861: 文字与格式字符串不匹配 的解决办法
一.写sql的方式插入到Oracle中往oracle中插入时间 '2007-12-28 10:07:24'如果直接按照字符串方式，或者，直接使用to_date('2007-12-28 10:07:24'）,没有指定日期格式，就会报错：ORA-01861: 文字与格式字符串不匹配必须指定日期格式to_date('2007-12-28 10:07:24' , 'yyyy-mm-dd ...
2017-09-21 17:51:00
378
原创 Maven项目报错:Missing artifact****和ArtifactDescriptorException: Failed to read artifact descriptor for**...
一.关于Cannot change version of project facet Dynamic web module to 2.5具体查看博客:http://blog.csdn.net/steveguoshao/article/details/38414145但是按照以上博文进行修改的时候需要根据自己本地jdk的版本来改. 如果你的本地是JDK1.7,就不要按照博文中写的把...
2017-09-21 11:26:00
85
原创 使用jdk的keytool 生成CA证书的方法
一、CA证书生成设置总共分为以下5步：步骤：1、根据java的keytool生成CA根证书，放在服务器2、根据服务器CA根证书导出客户端证书3、tomcat增加SSL配置4、客户端IE浏览器导入受信任客户端证书5、使用客户端IE浏览器通过https协议访问portal第一步：cmd到jdk的bin目录下执行 生成CA证书keytool -genkey ...
2017-09-14 21:36:00
233
原创 Linux shell逐行读取文件的方法
方法1：while循环中执行效率最高，最常用的方法。function while_read_line_bottom(){ while read line do echo $line done < $FILENAME}注释：我习惯把这种方式叫做read釜底抽薪，因为这种方式在结束的时候需要执行文件，就好像是执...
2017-09-14 20:13:00
92
原创 ArrayList的实现原理
ArrayList的线性复杂度是1.想确定一个数据,直接通过索引进行访问.实际上这个过程和数组是非常相似的.ArrayList在整个使用过程中,如果想要高效操作,最好设置一个数组的大小.在个数固定的情况下,ArrayList里面避免了重复开辟空间的问题,所以当你确定数据个数的时候,就使用ArrayList.如果不确定的时候就使用LinkedList(链表实现). 时间复杂度是N ,而Ar...
2017-09-13 10:25:00
48
原创 时间复杂度总结
本文转载于：http://blog.csdn.net/zolalad/article/details/11848739一、时间复杂度是一种事前分析估算的方法 因事后统计方法更多的依赖于计算机的硬件、软件等环境因素，有时容易掩盖算法本身的优劣。因此人们常常采用事前分析估算的方法。 在编写程序前，依据统计方法对算法进行估算。一个用高级语言编写的程序在计算...
2017-09-12 21:46:00
293
原创 RPC的原理总结
一.RPC的引入早期单机时代，一台电脑上运行多个进程，大家各干各的，老死不相往来。假如A进程需要一个画图的功能，B进程也需要一个画图的功能，程序员就必须为两个进程都写一个画图的功能。这不是整人么？于是就出现了IPC（Inter-process communication，单机中运行的进程之间的相互通信）。OK，现在A既然有了画图的功能，B就调用A进程上的画图功能好了，程序员终于可以偷...
2017-09-12 20:01:00
93
原创 hashcode和equals方法的区别和联系
说到 hashcode就要和Java中的集合，HashSet，HashMap 关系最为密切。首先附录两张Java的集合结构图：图二：（上图的简化版）从Set集合的特点说起 & Set是如何去除重复元素的：Set:元素不可以重复，是无序的。Set接口中的方法和Collection一致（看上面的集合框架图）。 |--HashSet: 内部数据结构...
2017-09-12 14:43:00
126
原创 消息队列的应用场景总结
一.消息队列的应用场景引入一个故事：该故事转载于：（https://www.zhihu.com/people/qi-da-fang/answers 祁达方的回答）小红是小明的姐姐。小红希望小明多读书，常寻找好书给小明看，之前的方式是这样：小红问小明什么时候有空，把书给小明送去，并亲眼监督小明读完书才走。久而久之，两人都觉得麻烦。后来的方式改成了：小红对小明说「我放到书...
2017-09-12 13:53:00
58
原创 Java中IO流中的装饰设计模式(BufferReader的原理)
本文粗略的介绍下JavaIO的整体框架,重在解释BufferReader/BufferWriter的演变过程和原理(对应的设计模式)一.JavaIO的简介流按操作数据分为两种：字节流与字符流.流按流向分为：输入流(读)，输出流(写)。字符流由来就是：早期的字节流+编码表，为了更便于操作文字数据。记住：只要是操作字符数据，应该优先使用字符流。字节流的抽象基类：In...
2017-09-12 11:05:00
420
原创 Java访问文件夹中文件的递归遍历代码Demo
上代码: 1 import java.io.File; 2 3 /* 4 * 需求：对指定目录进行所有内容的列出（包含子目录中的内容） 5 * 也可以理解为 深度遍历。 6 */ 7 public class FindAllFilesInFolder { 8 public static void main(String[] args) ...
2017-09-12 10:24:00
66
原创 JavaNIO的总结
一.简介NIO（Non-blocking I/O，在Java领域，也称为New I/O），在jdk1.4 里提供的新api 。Sun 官方标榜的特性如下： 为所有的原始类型提供(Buffer)缓存支持,字符集编码解码解决方案。Channel ：一个新的原始I/O 抽象。 支持锁和内存映射文件的文件访问接口。 提供多路(non-bloking) 非阻塞式的高伸缩性网络I/O 。N...
2017-09-12 10:03:00
157
原创 HashMap的实现原理总结
本文部分转载于:http://blog.csdn.net/vking_wang/article/details/141665931. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；...
2017-09-11 16:09:00
100
原创 hive中解决中文乱码
一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是...
2017-09-03 13:59:00
170
原创 启动HDFS之后一直处于安全模式org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node ...
一.现象三台机器 crxy99,crxy98,crxy97(crxy99是NameNode+DataNode,crxy98和crxy97是DataNode)按正常命令启动HDFS之后,HDFS一直处于安全模式(造成启动Hive的时候失败,不能向HDFS上写数据),正常情况下是在启动的前30秒处于安全模式,之后就退出了.可以采取强制退出安全模式的方式;安全模式的相关命令:...
2017-08-31 18:06:00
451
原创 设置JVM参数的几种方式解决java.lang.OutOfMemoryError:Java heap space
一.首先给出查询当前JVM内存的代码:下面是查询当前JVM 内存大小的代码，可以测试设置后JVM 的内存是否会变化。增加JVM 内存的配置项后，无需重新启动eclipse 。具体的代码如下： 1 public class JvmArguments { 2 public static void main(String[] args) { 3 Sy...
2017-08-29 13:11:00
196
原创 Java获取随机数获取制定范围指定个数不重复的随机数
一.JDK中提供的两种方式1.Math类中的random()方法public static double random()返回带正号的 double 值，该值大于等于 0.0 且小于 1.0 [0.0,1.0)。返回值是一个伪随机选择的数，在该范围内（近似）均匀分布。2.Random类中的 nextInt()方法public int nextInt()返回一个随机数,所有 2的3...
2017-08-28 18:02:00
286
原创 Java代码操作HDFS测试类
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URLorg.apache.hadoop.fs.FsUrlStreamHandlerFactoryjava.net.URIorg.apache.hadoop.conf.Configurat...
2017-08-25 16:39:00
109
原创 Java读取文件加锁代码Demo(利用Java的NIO)
本博文部分转载于:http://blog.csdn.net/wangbaochu/article/details/48546717Java 提供了文件锁FileLock类，利用这个类可以控制不同程序(JVM)对同一文件的并发访问，实现进程间文件同步操作。FileLock是Java 1.4 版本后出现的一个类，它可以通过对一个可写文件(w)加锁，保证同时只有一个进程可以拿到文件的锁，...
2017-08-24 21:07:00
116
原创 Java是值传递还是引用传递
1.Java到底是值传递还是引用传递?首先找到一个面试题及答案:当一个对象被当作参数传递到一个方法后，此方法可改变这个对象的属性，并可返回变化后的结果，那么这里到底是值传递还是引用传递?是值传递。Java 编程语言只有值传递参数。当一个对象实例作为一个参数被传递到方法中时，参数的值就是对该对象的引用。对象的内容可以在被调用的方法中改变，但对象的引用是永远不会改变的。...
2017-08-20 18:53:00
68
原创 MapReduce中的倒排索引
0.倒排索引资料:http://blog.csdn.net/pzasdq/article/details/514428561.三个日志源文件:a.txthello tomhello jerryhello tomb.txthello jerryhello jerrytom jerryc.txthello jerryhe...
2017-08-20 16:20:00
58
原创 MapReduce中的partitioner
1.日志源文件:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-...
2017-08-20 13:43:00
148
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人