- 博客(39)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Java Lambda表达式详解
Lambda简介Lambda 表达式是 JDK8 的一个新特性。在处理包含单个方法的接口时，传统方法是通过实现具体类或者匿名内部类的方式实现，使得功能显示繁琐，而引入Lambda表达式这种新特性后，可以用更加简洁的代码来实现功能，同时，也带来了一种函数式编程思想的改变。Lambda表达式的语法基本语法: (parameters) -> expression 或 (parameters) ->{ statements; }Lambda的实现1、实现函数式接口，需要一个只包含一个抽象方法
2020-07-03 11:05:57
413
原创 Java Guava工具类的使用
Guava工具类简介在开发中，工具类的使用避免上重复造轮子，极大的节省了开发时间，提高了工作效率，Google公司提供的Guava工具类，高效设计良好的API，遵循高效的java语法，使代码更加简洁。使用Maven引入依赖<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>20.0&
2020-07-03 11:59:31
794
原创 Storm小案例
1、按行分组读取文件Spoutpublic class AmtSpout implements IRichSpout { private FileInputStream fileInputStream; private InputStreamReader inputStreamReader; private BufferedReader bufferedReader;...
2019-03-11 20:35:00
128
原创 Storm集群简单部署
三台虚拟机：hadoop-01 192.168.119.141hadoop-02 192.168.119.142hadoop-03 192.168.119.143一、JDK安装、SSH免密码登陆二、zookeeper安装三、storm集群安装1、下载storm的安装包apache-storm-1.0.2.tar.gz2、将安装包解压移动到/usr/lib目录下tar -zxvf...
2019-02-25 10:12:33
748
原创 Linux crontab定时器
Linux crontab定时器crontab -e 编辑定时器crontab -l 显示当前定时器crontab -r 删除当前定时器格式分钟(0-59) 小时(0-23) 日期(1-31) 月份(1-12) 周(0-7,0和7都是星期日) 命令辅助特殊字符：* 表示任何时刻，分割时间，只在周3和周5执行(* * * * 3,5 command)- 时间端，在0到12小...
2019-01-01 15:44:18
429
原创 常用的排序算法
package alg.com.sort;public class Sort { public static void main(String[] args) { int[] datas = {9,1,4,3,5,6,7,2,8}; //Sort.insert(datas); //Sort.bubbling(datas); ...
2018-12-31 17:05:20
89
原创 SparkSQL
SQL(Structured Query Lanaguage 结构化查询语言)是一种特殊目的的编程语言，是一种数据库查询和程序设计语言,用于存储数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。常用的SQL框架（Hive、Impala、Presto、Shark、Drill、Phoenix等等）RDD、DataFrame和DataSet之间的区别DataFrame是Sp...
2018-12-30 19:20:39
1247
原创 Spark集群搭建
一、操作系统设置1、关闭防火墙Chkconfig iptables off2、 设置selinux修改/etc/selinux/config文件中的SELINUX=disabled二、配置集群hosts在/etc/hosts文件中添加以下内容（IP地址和主机名以实际为准）192.168.85.130 hadoop1192.168.85.131 hadoop2192.168.85....
2018-12-24 15:27:08
127
原创 kafka与flume集成
flume->kafka# vi flume.confa1.sources = r1a1.channels = c1a1.sinks = k1 a1.sources.r1.type = execa1.sources.r1.command = /usr/bin/vmstat 1a1.sources.r1.channels = c1 a1.channels.c1.type ...
2018-12-20 20:03:13
315
原创 安装kafka
1、三台虚拟机CentOS-01,CentOS-02,CentOS-032、现在kafka的yum #cd /etc/yum.repos.d/(如果是CentOS 6 系统，则将7改为6)#wget http://archive.cloudera.com/kafka/redhat/7/x86_64/kafka/cloudera-kafka.repo(修改kafaka版本，这里为2.0.0...
2018-12-20 11:44:40
172
原创 Flume输出sink到HBase
1、Hbase中建表hbase(main):056:0&gt;create 'movie','analyse'2、Flume配置a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = spooldir #实时读取本地目录...
2018-12-19 17:43:44
1408
原创 HBase和MapReduce集成
1、使用MapReduce对Hbase中的一张表数据统计，然后将结果输出到HBase中的另一张表package com.cxy.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apach...
2018-12-19 17:13:52
410
原创 HBase API
package com.cxy.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apa...
2018-12-19 13:59:15
162
原创 Hive
HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供SQL查询功能因为是基于hdfs,数据默认存放在/usr/warehouse中进入Hive客户端./bin/hivehive命令交互的几种方式#hive -e &quot;SQL&quot;#hive -f src/hive.sql (通过读取含有SQL语句的文件来执行,不一定是sql为后缀) #hive -f s...
2018-12-12 15:24:10
1057
原创 Spark Streaming
1、Spark Streaming是一个流处理框架。可以实现高吞吐的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk,Flume,Twitter,ZeroMQ,Kinesis，以及TCP sockets，从数据源获取数据之后，可以使用函数（map、reduce、join和window等）进行复杂算法的处理，最后还可以将处理的结果存储到文件系统中（HDFS）2、Spark ...
2018-12-11 20:25:38
143
原创 Java之锁机制
Java提供了两种锁机制来实现对某个共享资源的同步：synchronized和Lock。其中synchronized使用Object对象本身的notify、wait、notityAll调度机制，而Lock可以使用Condition进行线程之间的调度，完成synchronized实现的所有功能...
2018-12-08 20:41:14
96
原创 Spark算子
Transformation 转换/变换算子：这种算子不触发提交作业，完成作业中间过程处理Action 行动算子：这类算子会触发SparkContext提交Job作业，将数据输出Spark系统Transformation算子map算子（一对一输出）-将一个数据项通过自定义函数转变为一个新的元素-参数为一个数据项例: &amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;A&amp;amp;amp;amp;amp;amp;a
2018-12-07 20:56:38
223
原创 MapReduce使用DistributedCache关联大表和小表
package com.oracle.join;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.HashMap;import org.apache.hadoop.conf.Configuration;import org.apache...
2018-11-30 19:38:29
306
原创 MapReduce通过多个Map运行不同格式文件
1.Beanpackage com.oracle.join;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class InfoBean implements Writable{ priv...
2018-11-26 19:50:45
597
原创 MapReduce使用MultipleOutputs分组输出多个文件
package com.oracle.multiple;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hado...
2018-11-26 19:41:45
333
原创 MapReduce小文件合并
1.Merge类package com.cxy.merge;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.h...
2018-11-23 20:26:32
1491
原创 MapReduce序列化、分区、排序、分组
1.main类package com.oracle.xja;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.had...
2018-11-22 17:18:11
562
原创 HDFS的Java API接口
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.Fil...
2018-11-22 16:58:36
669
原创 Hibernate搭建
1.导包&lt;!-- https://mvnrepository.com/artifact/antlr/antlr --&gt;&lt;dependency&gt; &lt;groupId&gt;antlr&lt;/groupId&gt; &lt;artifactId&gt;antlr&lt;/artif
2018-11-11 19:48:43
110
原创 Struts2搭建
1.IDEA配置maven、tomcat( https://blog.csdn.net/weixin_41715878/article/details/83211564)2.导包&lt;dependency&gt; &lt;groupId&gt;javax.servlet&lt;/groupId&gt; &lt;artifactId&gt;jstl&am
2018-11-11 16:45:15
274
原创 Spring搭建
Spring概念：spring是一个分层的JavaSE/EE 轻量级开源框架。特性：控制反转（IOC）、面向切面（AOP）、依赖注入（DI）。面向切面：通过分离应用的业务逻辑与系统级服务，使扩展功能不需要修改源代码实现；控制反转：把对象创建交给Spring进行配置；依赖注入：向类中的属性设置值;(依赖注入不能单独存在，需要在IOC的基础上来完成操作)1.在IDEA中配置好maven和tom...
2018-11-10 16:40:08
124
原创 SpringMVC搭建
1.SpringMVC和struts2都属于表现层的框架，它是Spring框架的一部分，SpringMVC是Spring框架的一个模块。整体结构如下2.SpringMVC框架–.前端控制器 DispatcherServlet作用:接受请求参数，相应结果，相当于转发器，不需要程序员开发，有了DispatcherServlet减少了其他组件之间的耦合度;–处理器映射器 HandlerMap...
2018-10-25 16:51:55
128
原创 Spring和Mybatis整合
1.导入依赖jar包 &lt;!--mybatis --&gt; &lt;dependency&gt; &lt;groupId&gt;org.mybatis&lt;/groupId&gt; &lt;artifactId&gt;mybatis&lt;/artifactId&gt;
2018-10-24 21:19:59
105
原创 AOP简单配置
1.AOP，面向切面(方面)编程，扩展功能不修改源代码实现。采用横向抽取机制实现扩展，取代了传统纵向继承体系重复性代码。2.AOP操作术语:->Joinpoint(连接点):类里面可以被增强的方法，成为连接点；->Pointcut(切入点):类中可以有很多方法被增强，比如实际操作中，只是增强了类里面的add和update方法，实际增强的方法被称为切入点；->Advice(...
2018-10-24 20:11:26
158
原创 getResourceAsStream()在web项目中获取不到配置文件的原因
问题：使用Object.class.getResourceAsStream()在web项目中获取不到配置文件，单纯java应用程序测试却可以，放在web项目中就报空指针。1.先放出来目录2.java应用程序测试没有问题3.当放入web项目运行后直接显示为空4.当在java应用程序，我们将配置文件放在src下面，程序能够读取到。当放入web项目中，发现classes目录下也同样生成了配...
2018-10-22 20:43:52
19240
3
原创 IDEA配置maven、tomcat
配置maven,1、选择Create New Project2、Maven-&gt;Project SDK-&gt;Create from archetype-&gt;(右键选中)maven-archetype-webapp-&gt;next3、GroupId(一般为域名的反写)-&gt;ArtifactId-&gt;next4、Maven home directory(设置mave.
2018-10-20 11:01:22
4797
1
原创 Mybatis延迟加载
1.延迟加载，也懒加载，推迟对关联对象的select查询，可以有效的减少数据库压力。一级缓存：Mybatis一级缓存的作用于是同一个SqlSession，当使用同一个SqlSession来执行多次相同的sql语句时，会在第一次从数据库查询到数据存到缓存(内存),后面的再次查询会直接读取内存中的数据，从而提高查询效率。测试：1.配置完mybatis2.当第一次读取数据，然后使程序沉睡10秒...
2018-10-17 20:38:44
664
原创 Mybatis逆向工程
1.导入jar包log4j-1.2.17.jarmybatis-3.2.7.jarmybatis-generator-core-1.3.2.jarmysql-connector-java-5.0.4-bin.jar2.在MySQL数据库设计表student表teacher表3.配置mybatis-config.xml（略），在src下设置generatorConfig.xml...
2018-10-17 20:04:09
128
原创 MyBatis的插件PageHelper实现分页
1.需要jar包jsqlparser-0.9.5.jarpagehelper-5.0.0.jar2.开启分页PageHelper.startPage(pageNum, 10);List&lt;Classes&gt; list = classesMapper.queryAll();PageInfo&lt;Classes&gt; pi = new PageInfo&lt;Classes&g..
2018-10-17 16:57:26
115
原创 Java实现对Excel文件导入导出
1.导入jar包2.创建entity类public class Book { private String name; private double price; private String author; public String getName() { return name; } public void setName(String name) { this.n...
2018-10-01 17:15:01
1505
2
原创 关于使用JAVA连接MYSQL出现中文乱码
在MYECLIPSE中使用Java连接MySQL数据导入外部包 Build Path ——>Configure Build Path…——>Add External JARs..public static void main(){ String url = “jdbc:mysql://127.0.0.1:3306/bankmananger”; St...
2018-07-26 17:59:48
320
CAS-Server-MySQL-5.3版本相关jar包
2022-02-21
MapReduce开发应用
2019-01-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人