自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 Json与 List、map、javaBean 间相互转换

maven依赖: <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version>...

2020-02-11 19:17:02 190

原创 redis 脚本方式实现简单的分布式锁功能

1、需求:更新数据 *存在多个并发线程,尝试更新数据 *需要控制只能有一个线程更新数据2、使用redis key 过期机制,实现同一时刻,只有一个线程执行@Componentpublic class RedisManager { @Autowired private RedisTemplate<String, Object&g...

2020-02-11 19:16:48 161

原创 线程和线程池 基础

一、线程的使用1)重写Thread的run()函数2)实现Runnable接口3)有返回值的线程二、线程池的使用1、ThreadPoolExecutor线程池public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, ...

2019-10-10 09:27:15 223

原创 hive 并行执行多条sql出现 return code 2等异常

一、hive并行执行多条sql(聚合)出现如下异常使用的是1.1.0版本的hive-jdbc 所执行的sql包含: select count(1) from xxx 、 load 、insert等操作异常1:org.springframework.dao.DataAccessResourceFailureException: ConnectionCallback; SQL [...

2019-10-09 21:13:04 6242

原创 HDFS 文件系统和常用命令

一、HDFS 概念1、HDFS 是一个分布式文件系统。适合一次写入,多次读出的场景,不支持文件修改;适合用来做数据分析,但不适合用来做网盘。2、 由namenode 、datanode和secondarynamenode组成。3、Name负责管理整个文件系统的元数据,及每个文件对应的数据块信息。4、datanode负责管理文件数据块,且一个文件数据块可能存在多个datanode中。5、s...

2019-10-03 15:42:13 444

原创 linux文件目录 的读、写和执行权限

1、文件权限Linux 的文件和目录均具有读(r)、写(w)和可执行权限(x),合并起来就是rwx,表示同时拥有读写执行权限。2、文件的所有用户或用户组权限- owner: 文件所有者,即文件属于那个用户。- group: 文件所有者所在的用户组。- others: 其它用户查看文件信息:类型权限目录深度用户名用户组大小创建日期文件或目录名称-r...

2019-10-03 14:28:16 3392

原创 hadopp集群启动命令

1、集群启动方式1)单独启动hdfs组件: Hadoop-daemon.sh start nameNode(dataNode) Hadoop-daemon.sh stop nameNode(dataNode)注:先启动nameNode,再启动dataNode;关闭顺序则相反,先关闭dataNode,再关闭nameNode。 Yarn_daemon.sh start reso...

2019-09-29 16:53:18 254

原创 Sping IOC和DI

一、IOC和DI 概述IOC(控制反转):反转资源的获取方向。Spring 容器管理对象的创建、设置和销毁,并主动将资源推送给它所管理的组件,组件只需要选择一种合适的方式来接收资源。相比于传统的组件主动向容器发起查询资源的请求的资源查找方式,被动的接收资源的形式称为反转控制。DI(依赖注入):依赖出入是IOC的另一种描述,组件接收来自容器的资源注入。二、Bean配置 1...

2019-09-29 00:26:45 85

原创 事务的基本定义、隔离级别、常用的传播属性和spring事务配置

一、事务目的 事务在企业级应用程序中,用来确保数据的完整性和一致性。二、事务的定义 事务是读写数据库的一系列程序动作,它们被作为一个独立的工作单元。这些程序动作要么全部完成,要么全部失败,不起作用。三、事务的四个关键属性 原子性(atomicity):事务是一个原子操作,由一系列动作组成。事务的原子性确保动作要么全部完成要么完全不起作用。 一致性...

2019-09-23 23:39:12 119

原创 spring 上传文件大小限制

使用spring上传文件,文件太大时,出现如下错误:the request was rejected because its size (104857000) exceeds the configured maximum (1024000)解决方法:spring-contxt.xml 修改maxUploadSize的值 <bean id="multip...

2019-09-22 10:50:36 529

原创 java txt文件读写 操作

最近接到了文件上传和下载的小需求,故整理了下java文件操作的一些方法。1、往指定路径的文件写入110万行字符串 /** * 写入TXT文件 */ public static void writeFile() { try { File writeName = new File("E:\\home\\mobile.t...

2019-09-21 21:00:41 208

原创 hive java api 操作(spring )

一、hive指定mapreduce任务队列set mapred.queue.names="队列名称"; 二、java api 操作hive pom.xml<dependencies> <dependency> <groupId>org.apache.hive</groupId> <ar...

2019-09-21 20:37:24 359

原创 (二)设计模式 策略模式( 学习笔记)

1、策略模式解析 策略模式定义了一系列算法,分别封装起来,让他们之间可以相互替换,此模式让算法的变化,不会影响到使用算法的客户。通过策略模式可以减少通过if..else语句来切换相似算法,降低复杂度和维护难度。优点: 简化单元测试,因为每个算法类都有自己的类。 减少算法类和使用算法类之间的耦合。使用场景: 策略模式用来封装算法,但是也可以用它来封...

2019-09-17 23:28:55 119

原创 centos中 压缩包方式的JDK安装配置

压缩包方式的JDK安装配置1、在官网上下载 jdk 压缩包jdk下载2、进入下载目录,将jdk文件解压到:/opt/software/$ tar -zxvf jdk1.7.0_79.tar.gz -C /opt/softwarejdk1.7.0_79.tar.gz解压后,文件文为 jdk1.7.0_793,进入环境变量配置文件(只用root用户有权限修改)...

2019-09-14 21:43:32 334

原创 hadoop 完全分布式配置

1、客户机节点 (1) hadoop103 、hadoop104和hadoop105(VMware中虚拟机)。 (2)每台客户机新建用户:lys 登录密码:123123 ,确保一致。 (3)配置客户机静态ip地址 和主机名 主机名 ip ...

2019-09-14 21:42:00 148

原创 hadoop集群节点 ssh免密登录配置

VMware中有两台centos客户机:hadoop1和hadoop2,在客户机hadoop1中通过如下命令登录hadoop2,将提示需要输入hadoop2客户机密码。$ ssh hadoop2如果要做到hadoop1无需输入密码就能ssh登录到hadoop2,需要将hadoop1的公钥注册到hadoop2客户机。具体操作如下:1、在hdoop1客户机执行如下命令,其中ly...

2019-09-14 11:40:03 650

原创 springMVC 不拦截静态资源

SpringMVC 静态资源配置,使得可以通过url直接访问! 刚开始使用springMVC开发web时,配置了DispatcherServlet拦截所有的请求(包括静态资源),对于每个请求都必须在Controller层编写相应的处理器处理。 <!-- 配置前端控制器 --> <servlet> <servlet-name>s...

2019-09-14 10:46:47 1730

原创 大文件保存(大于100M)到Mysql

最近尝试了下实现文件上传和下载的功能:尝试一:上传:将文件以二进制流的形式上传,一次性读取到内存,然后将输入流转成字节数组,保存到mysql表的一个字段。下载:将mysql中字节流一次性全部读到内存并转成输入流,然后写到本地文件中。准备工作: ①mysql 中类型 longblob:可存4GB大小数据。 ②mysql服务默认一次存取文件大小设置;...

2019-09-11 23:58:55 2548

原创 (一)设计模式 简单工厂模式(大话设计模式 学习笔记)

1、面向对象程序设计好处 面向对象程序设计通过封装、继承、多态把程序的耦合度降低。①封装: 将实现细节和属性隐藏,通过对外提供的公共接口控制属性的访问权限,防止该类的代码和数据被外部类定义的代码随机访问。通过封装,可以做到修改自己的代码,而不影响调用我们代码的程序。②继承:以现有类为基础,复制它,然后通过添加和修改这个副本来创建一个新类。③多态:多态也称作动态绑定、后期绑...

2019-09-07 10:07:40 203

原创 正则表达式字符串匹配和字符串提取

1.判断字符串是否满足条件: (1)以aaa 、bbb或 ccc 开头 (2)中间为0个到10为数字 (3)“#” 结束 public static void main(String[] args) { String regex = "(aaa|bbb|ccc)\\d{0,10}#$"; String str = "...

2019-09-03 00:18:46 18571

原创 抽象类与接口的区别

1、抽象类 (1)在面向对象领域中,将具有共性的多个事物最本质的、固定的一组行为的抽象描述抽取出来的过程,称为抽象,而这组具有任意可能的具体实现的抽象的描述就是抽象类。例如,圆形、三角形、平行四边形等对象,具有计算面积、绘制形状等行为,区别在于实现形式不同。将相似的行为抽取出来,构成一个图形抽象体就是抽象类,这个图形抽象体称为图形,它的计算面积、绘制形状的方法没有具体...

2019-09-01 19:41:08 77

原创 VMware中 centos虚拟机克隆

在Vmware WorksTation 中克隆虚拟机步骤1、将被克隆的虚拟机关闭,并选中虚拟机,然后“右键”->“管理”->"克隆"或者 菜单上的”虚拟机“->“管理”->"克隆" 图1 创建完整版虚拟机克隆 ...

2019-08-30 23:05:15 890

原创 Spring+SpingMVC+Mybatis 多模块项目搭建

项目模块创建部分1、项目模块 图1 项目模块(1)ssm-demo:为项目名称 ,是一个maven项目(模块),ssm-demo-common、ssm-demo-dao、ssm-demo-servier是一个子maven模块,而lssm-demot-web是一个maven web模块。注:common模块:...

2019-08-30 01:44:13 210

原创 SSM多模块项目搭建问题记录

SSM多模块项目搭建问题记录1、Spring+springMVC+MybatisWeb.xml:监听器 前端控制器: 过滤器 拦截器Spring-mvc.xml:开启注解扫描,将@contronller @bean @service等标识的类映射为容器中的bean; 配置试图解析器 等等Spring-context.xml数据源...

2019-08-30 00:34:08 320

原创 Springboot+mybatis实现web的简单增加,删除和查找功能

前言:利用springBoot+Mybatis创建web,实现简单的增加,删除和查询功能。1、在IDEA中创建项目 图1 新建项目 图2 选择 ...

2019-06-28 22:17:26 883

原创 文件和目录的操作命令(更新补充中...)

常用的文件操作命令1、查看文件和目录 (1)列出文件和目录的名称 [root@admin ~]# ls 图1 查看文件名称(2)查看文件的名称、创建时间、大小 [root@admin ~]# ls -l ...

2019-04-10 20:17:00 244

原创 centOS6 网络ip、防火墙、重启等命令

1、ip地址和网关查询与设置 (1)在终端输入命令 ifconfig后按回车键,输出下图信息,其中红色方框中的信息为ip地址。 [lys@hadoop100 ~]$ ifconfig 图1(2)设置ip地址 方法一:右键单击“网络连接...

2019-04-09 20:39:18 6854

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除