- 博客(27)
- 收藏
- 关注
RSS订阅原创 Json与 List、map、javaBean 间相互转换
maven依赖： <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version>...
2020-02-11 19:17:02
194
原创 redis 脚本方式实现简单的分布式锁功能
1、需求：更新数据 *存在多个并发线程，尝试更新数据 *需要控制只能有一个线程更新数据2、使用redis key 过期机制，实现同一时刻，只有一个线程执行@Componentpublic class RedisManager { @Autowired private RedisTemplate<String, Object&g...
2020-02-11 19:16:48
174
原创 线程和线程池 基础
一、线程的使用1）重写Thread的run()函数2）实现Runnable接口3）有返回值的线程二、线程池的使用1、ThreadPoolExecutor线程池public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, ...
2019-10-10 09:27:15
242
原创 hive 并行执行多条sql出现 return code 2等异常
一、hive并行执行多条sql（聚合）出现如下异常使用的是1.1.0版本的hive-jdbc 所执行的sql包含： select count(1) from xxx 、 load 、insert等操作异常1：org.springframework.dao.DataAccessResourceFailureException: ConnectionCallback; SQL [...
2019-10-09 21:13:04
6339
原创 HDFS 文件系统和常用命令
一、HDFS 概念1、HDFS 是一个分布式文件系统。适合一次写入，多次读出的场景，不支持文件修改；适合用来做数据分析，但不适合用来做网盘。2、 由namenode 、datanode和secondarynamenode组成。3、Name负责管理整个文件系统的元数据，及每个文件对应的数据块信息。4、datanode负责管理文件数据块，且一个文件数据块可能存在多个datanode中。5、s...
2019-10-03 15:42:13
453
原创 linux文件目录 的读、写和执行权限
1、文件权限Linux 的文件和目录均具有读（r）、写(w)和可执行权限(x)，合并起来就是rwx，表示同时拥有读写执行权限。2、文件的所有用户或用户组权限- owner: 文件所有者，即文件属于那个用户。- group: 文件所有者所在的用户组。- others: 其它用户查看文件信息：类型权限目录深度用户名用户组大小创建日期文件或目录名称-r...
2019-10-03 14:28:16
3514
原创 hadopp集群启动命令
1、集群启动方式1)单独启动hdfs组件： Hadoop-daemon.sh start nameNode(dataNode) Hadoop-daemon.sh stop nameNode(dataNode)注：先启动nameNode，再启动dataNode;关闭顺序则相反，先关闭dataNode,再关闭nameNode。 Yarn_daemon.sh start reso...
2019-09-29 16:53:18
264
原创 Sping IOC和DI
一、IOC和DI 概述IOC（控制反转）：反转资源的获取方向。Spring 容器管理对象的创建、设置和销毁，并主动将资源推送给它所管理的组件，组件只需要选择一种合适的方式来接收资源。相比于传统的组件主动向容器发起查询资源的请求的资源查找方式，被动的接收资源的形式称为反转控制。DI(依赖注入)：依赖出入是IOC的另一种描述，组件接收来自容器的资源注入。二、Bean配置 1...
2019-09-29 00:26:45
88
原创 事务的基本定义、隔离级别、常用的传播属性和spring事务配置
一、事务目的 事务在企业级应用程序中，用来确保数据的完整性和一致性。二、事务的定义 事务是读写数据库的一系列程序动作，它们被作为一个独立的工作单元。这些程序动作要么全部完成，要么全部失败，不起作用。三、事务的四个关键属性 原子性（atomicity）：事务是一个原子操作，由一系列动作组成。事务的原子性确保动作要么全部完成要么完全不起作用。 一致性...
2019-09-23 23:39:12
125
原创 spring 上传文件大小限制
使用spring上传文件,文件太大时，出现如下错误：the request was rejected because its size (104857000) exceeds the configured maximum (1024000)解决方法：spring-contxt.xml 修改maxUploadSize的值 <bean id="multip...
2019-09-22 10:50:36
536
原创 java txt文件读写 操作
最近接到了文件上传和下载的小需求，故整理了下java文件操作的一些方法。1、往指定路径的文件写入110万行字符串 /** * 写入TXT文件 */ public static void writeFile() { try { File writeName = new File("E:\\home\\mobile.t...
2019-09-21 21:00:41
213
原创 hive java api 操作（spring ）
一、hive指定mapreduce任务队列set mapred.queue.names="队列名称"; 二、java api 操作hive pom.xml<dependencies> <dependency> <groupId>org.apache.hive</groupId> <ar...
2019-09-21 20:37:24
379
原创 （二）设计模式 策略模式（ 学习笔记）
1、策略模式解析 策略模式定义了一系列算法，分别封装起来，让他们之间可以相互替换，此模式让算法的变化，不会影响到使用算法的客户。通过策略模式可以减少通过if..else语句来切换相似算法，降低复杂度和维护难度。优点： 简化单元测试，因为每个算法类都有自己的类。 减少算法类和使用算法类之间的耦合。使用场景： 策略模式用来封装算法，但是也可以用它来封...
2019-09-17 23:28:55
123
原创 centos中 压缩包方式的JDK安装配置
压缩包方式的JDK安装配置1、在官网上下载 jdk 压缩包jdk下载2、进入下载目录，将jdk文件解压到：/opt/software/$ tar -zxvf jdk1.7.0_79.tar.gz -C /opt/softwarejdk1.7.0_79.tar.gz解压后，文件文为 jdk1.7.0_793，进入环境变量配置文件(只用root用户有权限修改)...
2019-09-14 21:43:32
337
原创 hadoop 完全分布式配置
1、客户机节点 （1） hadoop103 、hadoop104和hadoop105（VMware中虚拟机）。 （2）每台客户机新建用户：lys 登录密码：123123 ，确保一致。 （3）配置客户机静态ip地址 和主机名 主机名 ip ...
2019-09-14 21:42:00
154
原创 hadoop集群节点 ssh免密登录配置
VMware中有两台centos客户机：hadoop1和hadoop2，在客户机hadoop1中通过如下命令登录hadoop2,将提示需要输入hadoop2客户机密码。$ ssh hadoop2如果要做到hadoop1无需输入密码就能ssh登录到hadoop2,需要将hadoop1的公钥注册到hadoop2客户机。具体操作如下：1、在hdoop1客户机执行如下命令,其中ly...
2019-09-14 11:40:03
669
原创 springMVC 不拦截静态资源
SpringMVC 静态资源配置，使得可以通过url直接访问! 刚开始使用springMVC开发web时，配置了DispatcherServlet拦截所有的请求（包括静态资源），对于每个请求都必须在Controller层编写相应的处理器处理。 <!-- 配置前端控制器 --> <servlet> <servlet-name>s...
2019-09-14 10:46:47
1734
原创 大文件保存(大于100M)到Mysql
最近尝试了下实现文件上传和下载的功能：尝试一：上传：将文件以二进制流的形式上传，一次性读取到内存，然后将输入流转成字节数组，保存到mysql表的一个字段。下载：将mysql中字节流一次性全部读到内存并转成输入流，然后写到本地文件中。准备工作： ①mysql 中类型 longblob:可存4GB大小数据。 ②mysql服务默认一次存取文件大小设置；...
2019-09-11 23:58:55
2643
原创 （一）设计模式 简单工厂模式（大话设计模式 学习笔记）
1、面向对象程序设计好处 面向对象程序设计通过封装、继承、多态把程序的耦合度降低。①封装： 将实现细节和属性隐藏，通过对外提供的公共接口控制属性的访问权限，防止该类的代码和数据被外部类定义的代码随机访问。通过封装，可以做到修改自己的代码，而不影响调用我们代码的程序。②继承：以现有类为基础，复制它，然后通过添加和修改这个副本来创建一个新类。③多态：多态也称作动态绑定、后期绑...
2019-09-07 10:07:40
203
原创 正则表达式字符串匹配和字符串提取
1.判断字符串是否满足条件： （1）以aaa 、bbb或 ccc 开头 （2）中间为0个到10为数字 （3）“#” 结束 public static void main(String[] args) { String regex = "(aaa|bbb|ccc)\\d{0,10}#$"; String str = "...
2019-09-03 00:18:46
18640
原创 抽象类与接口的区别
1、抽象类 （1）在面向对象领域中，将具有共性的多个事物最本质的、固定的一组行为的抽象描述抽取出来的过程，称为抽象，而这组具有任意可能的具体实现的抽象的描述就是抽象类。例如，圆形、三角形、平行四边形等对象，具有计算面积、绘制形状等行为，区别在于实现形式不同。将相似的行为抽取出来，构成一个图形抽象体就是抽象类，这个图形抽象体称为图形，它的计算面积、绘制形状的方法没有具体...
2019-09-01 19:41:08
82
原创 VMware中 centos虚拟机克隆
在Vmware WorksTation 中克隆虚拟机步骤1、将被克隆的虚拟机关闭，并选中虚拟机，然后“右键”->“管理”->"克隆"或者 菜单上的”虚拟机“->“管理”->"克隆" 图1 创建完整版虚拟机克隆 ...
2019-08-30 23:05:15
893
原创 Spring+SpingMVC+Mybatis 多模块项目搭建
项目模块创建部分1、项目模块 图1 项目模块(1)ssm-demo:为项目名称 ，是一个maven项目（模块），ssm-demo-common、ssm-demo-dao、ssm-demo-servier是一个子maven模块，而lssm-demot-web是一个maven web模块。注：common模块：...
2019-08-30 01:44:13
218
原创 SSM多模块项目搭建问题记录
SSM多模块项目搭建问题记录1、Spring+springMVC+MybatisWeb.xml:监听器 前端控制器： 过滤器 拦截器Spring-mvc.xml:开启注解扫描，将@contronller @bean @service等标识的类映射为容器中的bean; 配置试图解析器 等等Spring-context.xml数据源...
2019-08-30 00:34:08
331
原创 Springboot+mybatis实现web的简单增加，删除和查找功能
前言：利用springBoot+Mybatis创建web，实现简单的增加，删除和查询功能。1、在IDEA中创建项目 图1 新建项目 图2 选择 ...
2019-06-28 22:17:26
899
原创 文件和目录的操作命令（更新补充中...）
常用的文件操作命令1、查看文件和目录 （1）列出文件和目录的名称 [root@admin ~]# ls 图1 查看文件名称（2）查看文件的名称、创建时间、大小 [root@admin ~]# ls -l ...
2019-04-10 20:17:00
250
原创 centOS6 网络ip、防火墙、重启等命令
1、ip地址和网关查询与设置 （1）在终端输入命令 ifconfig后按回车键，输出下图信息，其中红色方框中的信息为ip地址。 [lys@hadoop100 ~]$ ifconfig 图1（2）设置ip地址 方法一：右键单击“网络连接...
2019-04-09 20:39:18
6876
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人