- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 IP子网划分
子网划分IP地址分类私有IP子网划分例题1.网络地址200.200.200.0，子网掩码为255.255.255.0.划分6个子网，每个子网30台主机，请写出留个子网的子网掩码、网络地址、第一个主机地址、最后一个主机地址、广播地址。2.某单位分配一个B类地址，为130.25.0.0，该单位共6000台机器，平均分布在12个不同地点，写出子网掩码、每一个子网的网络地址、可使用的最大最小值，广播地址。IP地址分类A类：1.0.0.0-127.255.255.255/255.0.0.0 网络
2020-08-05 10:59:52
2190
原创 HDFS详解
1.HDFS概念HDFS（Hadoop Distributed File System），分布式文件系统，用于存储文件。最大的特点是适合一次性的写入，多次的读取，并且已经写入的文件无法修改。1.1 优缺点优点：1 高容错性：一份数据可以保存多份，避免丢失2 适合大数据处理：能够处理百万规模以上的文件数量3 价格低：将多台低性能集群组合成集群，提高性能缺点：1 不适合低延时的数据访问2 不适合存储大量的小文件3 不支持并发写入数据，而且无法修改2.HDFS工作原理由四个部分组成，分别
2020-05-27 10:08:10
298
原创 集群与分布式的关系
集群：多台机器共同完成一件事（任务）分布式：多台机器共同完成一件事（任务），在此基础上将任务细分，不同机器任务不同。集群不一定是分布式，分布式一定是集群
2020-05-27 09:24:49
463
原创 Mysql导入数据到HDFS
1、启动HDFSsbin/start-dfs.sh2、启动yarnsbin/start-yarn.sh (在resourcemanager节点启动，端口8088)3、启动zookeeperbin/zkServer.sh start4、sqoop导入hdfs会自动创建对应保存路径bin/sqoop import \--connect jdbc:mysql://xxx:3306/f...
2019-11-22 10:49:42
1418
原创 Idea打jar包提交到Spark集群运行
1、启动hadoopsbin/start-dfs.sh2、启动sparksbin/start-all.sh3、jps4、上传jar包5、提交任务bin/spark-submit --class com.pro.second.KafkaDirectorDemo3 SparkStreaming-1.0.0-jar-with-dependencies.jar（可加–master sp...
2019-11-16 09:34:20
697
1
原创 采用Flume将Mysql增量数据采集至kafka
1、准备工作（1）安装kafka、flume集群，以及mysql数据库（2）下载flume-ng-sql-source-1.4.1.jar,放入flume的lib目录下链接：https://pan.baidu.com/s/1wqxRR9V2PdcujTQAnru4aA提取码：i9m3或sql-json插件包下载地址：https://github.com/yucy/flume-ng-sql...
2019-11-11 16:32:31
631
原创 bootstrapTable第二次点击无效
在重新加载表格之前，要将table销毁。$('#table').bootstrapTable('destroy');
2019-11-01 21:23:49
884
原创 JS定时器->定时器越点越快问题
1.JS定时器需求描述：用一个按钮去触发定时器，那么多次点击这个定时器会越来越快，这是为何？解决方案：每执行一次定时器，都需要清空$('button:first').click(function(){ var timerId = setInterval(function(){ alert("run"); }, 3000); ...
2019-10-31 18:54:36
827
转载 程序员实用工具网站
1、搜索引擎2、PPT3、图片操作4、文件共享5、应届生招聘6、程序员面试题库7、办公、开发软件8、高清图片、视频素材网站9、项目开源10、在线工具宝典大全...
2019-09-28 16:36:02
190
原创 SpringTask定时器
1 概念SpringTask是spring3.0后自主提供的定时任务的工具, spring-task，可以将它比作一个轻量级的Quartz，而且使用起来很简单，除spring相关的包外不需要额外的包，而且支持注解和配置文件两种形式。这里主要介绍SpringTask的使用方式2 xml配置方式1.添加task命名空间2.Spring创建任务所在的类型的对象,配置定时任务（在spring主配置...
2019-09-24 19:49:44
261
原创 Solr+java实现索引库增删改查
1 了解solr的配置文件1.1 solr的核心配置文件：solrConfig.xmlsolrconfig.xml 配置文件主要定义了 solr 的一些处理规则，包括索引数据的存放 位置，更新，删除，查询的一些规则配置。 一般此文件不需要进行修改, 采取默认即可。（1） field标签主要是用来指定字段名称的, Lucene中是有用户在程序中指定, solr中需要提前在配置文件中指定&...
2019-09-22 20:27:16
2566
原创 Solr搜索引擎（启动与配置）
1.概念1.1 什么是搜索引擎将数据进行分词, 建立索引, 将索引数据保存到索引库当中, 然后当用户进行搜索的时候, 将用户输入的关键字, 进行分词, 将分词后的数据到索引库中进行查询, 得到文档的id, 根据文档id获取文档的数据。1.2 什么是solrsolr是一个独立的企业级搜索应用服务器, 用户可以通过http请求访问这个服务器, 获取或者写入对应的内容, 其底层是Lucene。...
2019-09-22 19:55:38
331
原创 Mybatis使用Redis替代二级缓存
1、案例介绍将Mybatis查询数据库的结果，以键值对的形式存入Redis数据库，替代了Mybatis中的二级缓存。查询同样操作时，可以直接去Redis中读取结果，提高效率。2、案例实现2.1 导入项目依赖<!--redis依赖--> <dependency> <groupId>redis.clients</groupId>...
2019-09-18 17:21:45
2792
原创 Redis数据库使用教程
1、Redis介绍1.1 概念redis是C语言开发的, redis基于内存的数据库(数据存储到了内存当中), redis中数据的存储是以KEY-VALUE的形式来存储,redis中也是有丰富的数据类型。分布式集群中，同样的缓存信息需要存储在不同的服务器上，造成资源浪费，读取效率慢；使用redis服务，将共同的缓存信息放在此服务器上。1.2 特点redis将数据存储到内存当中, redi...
2019-09-18 16:59:52
482
原创 爬虫三：小案例模拟登陆慢慢买并获取用户积分
public class ReptileLogin { @Test public void Login() throws Exception{ //确定url: String indexUrl = "http://home.manmanbuy.com/login.aspx"; //2、发送请求，获取数据 Close...
2019-09-18 16:25:58
461
原创 爬虫二：Jsoup解析数据
1、Jsoup解析爬虫数据解析数据本质上就是在解析HTML文档，需要使用一种可以在java客户端来解析HTML文档的技术 —>jsoup1.1 导入jsoup依赖<!--jsoup html解析器--> <dependency> <groupId>org.jsoup</groupId> <artifa...
2019-09-18 16:22:04
1223
原创 爬虫一：发送请求, 获取数据
1、初识爬虫1.1 什么是爬虫网络爬虫本质上就是一个程序 或者 脚本, 网络爬虫按照一定规则获取互联网中信息(数据), 一般来说爬虫被分为三大模块: 获取数据 解析数据 保存数据。1.2 爬虫的分类（1）通用爬虫: 指的获取互联网中所有的数据, 不局限于网站, 行业, 分类例如：百度 谷歌 等（2）垂直爬虫: 指的获取互联网中某一个网站, 某一个行业, 某一个分类下的数据例如：慢慢买...
2019-09-18 16:08:20
1351
原创 JSON+AJAX完成用户登录
1、JSON1.1 json简介JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。完全独立于编程语言的文本格式来存储和表示数据，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。1.2 json格式1.以”{”开始,以”}”结束.2.对象中的属性名和属性值使用”:”分割,3.多个属性之间,使用”,”分割...
2019-09-15 16:11:45
2097
原创 AJAX原理及实现用户注册
1、AJAX1.1 AJAX相关概念（1） 为什么要有AJAX有需求实现刷新页面中的局部,但是传统的请求方式只能通过刷新整个页面达到改变内容的目的,于是就又了AJAX。用于（时间倒计时,点赞功能,邮箱用户名验证等等）（2） AJAX特点异步加载,局部刷新1.通过发送请求,获取响应的一种浏览器交互技术2.异步:ajax请求,并不阻断我们继续对浏览器进行操作.（3） Ajax的使用1...
2019-09-15 15:38:35
891
转载 15 个超赞的 Linux 工具
1、ag：比grep、ack更快的递归搜索文件内容。2、tig：字符模式下交互查看git项目，可以替代git命令。3、mycli：mysql客户端，支持语法高亮和命令补全，效果类似ipython，可以替代mysql命令。4、jq: json文件处理以及格式化显示，支持高亮，可以替换python -m json.tool。5、shellcheck：shell脚本静态检查工具，能够识别语法错误...
2019-09-15 09:36:37
117
转载 内网端口转发及穿透
https://blog.csdn.net/qq_32434307/article/details/88936285?utm_source=app&from=timeline
2019-09-14 20:02:01
173
原创 SSM三大框架实现用户管理系统（源代码及实现步骤）
第一步：项目准备此系统是使用IDEA开发，在maven框架上实现的1.1 项目结构创建bean包，存放用户实体类User；创建controller包，存放SpringMVC的控制类（servlet），登录检查类和用户控制类；创建interceptors包，存放登录检查的拦截器类；创建mapper包，存放Mybatis的用户接口类；创建pagingquery包，存放分页查询的逻辑类及...
2019-09-14 19:54:13
6293
3
原创 Spring整合SpringMVC的原理与实现
1、整合原理在SpringMVC配置文件中配置MVC注解解析器、静态资源页面放行、视图解析器、拦截器在web.xml中配置SpringMVC的前端控制器、MVC的编码过滤器在SpringMVC配置文件中引入Spring的配置文件Spring配置文件照常配置2、整合实现2.1 SpringMVC配置文件(springmvc.xml)<?xml version="1.0" en...
2019-09-13 16:24:45
1229
1
原创 Spring整合MyBatis的原理及实现
1、整合原理我们要将MyBatis配置整合到Spring的配置文件中；MyBatis配置文件中配置了： 数据源、别名、mapper映射文件，延迟加载此时要将（数据源、别名、mapper映射文件）配置写入到Spring的配置文件中，所以mybatis配置文件中只写类的延时加载。Spring配置文件中新配置sqlSessionFactory对象，以及UserMapper对象（两种方式）整合...
2019-09-13 16:01:56
996
原创 SpringMVC拦截器原理及实现
1、拦截器概念Spring MVC 的拦截器类似于Servlet 开发中的过滤器Filter，用于对Controller进行预处理和后处理。2、使用SpringMVC拦截器步骤:2.1 新建拦截器类拦截器方法的执行时机:1):preHandle:控制器方法执行之前执行,返回结果为true表示放行,如果返回为false,表示拦截(可以做权限拦截,登录检查拦截).2):postHandl...
2019-09-10 16:25:17
2970
原创 SpringMVC实现文件的上传和下载
1、文件上传1.1 导入依赖<dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</artifactId> <version>1.3.1</version></depen...
2019-09-09 21:11:28
263
原创 SpringMVC处理乱码及日期类型问题
1、处理中文乱码问题在web.xml中配置编码过滤器<web-app xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns...
2019-09-09 19:47:36
233
原创 SpringMVC响应传值、请求传参的实现
1、SpringMVC 响应传值方式SpringMVC如何从服务器传数据到浏览器？共四种方式1.1 Controller方法的返回值类型为void（鸡肋）在Controller方法形参上可以定义request和response，使用request或response指定响应结果：使用request请求转发页面：request.getRequestDispatcher(“页面路径”).f...
2019-09-09 19:23:36
322
原创 SpringMVC执行流程及基本配置
1、Spring MVC 简介什么是Spring MVC？MVC框架，它解决WEB开发中常见的问题(参数接收、页面跳转 、文件上传、表单验证、国际化、等等)，而且使用简单，与Spring无缝集成。（替代servlet层）Spring3.0 后全面超越 Struts2，成为最优秀的 MVC 框架 （更安全，性能更好，更简单）。支持 RESTful风格的 URL 请求 。采用了松散耦合可插...
2019-09-08 19:39:51
271
原创 Spring事务（Transactions）的原理与实现
1、事务1.1 什么是事务？事务是用户定义的数据库操作的集合，这些操作作为一个完整的有机工作单元，要么全部正确执行，要么全部不执行。四大特性：（1）原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的操作要么都做，要么都不做。（2）一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。（3）隔离性（...
2019-09-06 17:01:54
5744
原创 Spring JDBC的原理与实现
1、简介1.1 为什么使用Spring框架中的JDBC？1.2 使用Spring JDBC需要使用的模板类2、实现2.1 准备依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....
2019-09-06 08:51:04
941
原创 Spring框架AOP原理及实现
1、AOP思想1.1 什么是AOPAspect oritention programming(面向切面编程)，把一个个的横切关注点（这些零散存在于业务方法中的功能代码，我们称之为横切面关注点）放到某个模块中去，称之为切面。那么每一个的切面都能影响业务的某一种功能，切面的目的就是功能增强，如日志切面就是一个横切关注点，应用中许多方法需要做日志记录的只需要插入日志的切面即可。这种面向切面编程的思想...
2019-09-05 19:15:44
490
原创 Spring代理模式的原理与实现
1、代理概念代理模式：客户端直接使用的都是代理对象，不知道目标对象是谁，此时代理对象可以在客户端和目标对象之间起到中介的作用。1、代理对象完全包含目标对象，客户端使用的都是代理对象的方法，和目标对象没有直接关系；2、代理模式的职责：把不是目标对象该做的事情从目标对象上撇开——职责清晰；静态代理：在程序运行前就已经存在代理类的字节码文件，代理对象和目标对象的关系在运行前就确定了。动态代理...
2019-09-05 17:27:51
1577
原创 Spring框架IoC/DI原理及实现
1、概念IoC：指将对象的创建权，交给到Spring容器；DI ：指Spring创建对象的过程中，将对象依赖的属性通过配置的方式自动的设值给当前的对象 。IoC/DI注解详解完成IoC/DI，有两种方式，一种是使用xml配置文件，另一种是使用注解，我们先来介绍xml方式。2、xml配置2.1 使用setter注入（推荐）Setter注入:最常用的注入方法,需要在xml配置文件中进行手...
2019-09-04 17:25:56
673
原创 Spring框架bean的实例化方式，作用域及生命周期
1、bean的实例化方式bean（类对象）的实例化方式：①.构造器实例化（无参数构造器,与构造器的访问权限无关），最标准，使用最多。②.静态工厂方法实例化：解决系统遗留问题(了解)③.实例工厂方法实例化：解决系统遗留问题(了解)④.实现FactoryBean接口实例化：实例工厂变种：集成其他框架使用：SqlSessionFactoryBean这里重点介绍第一种和第四种方式！1.1 构...
2019-09-03 17:30:48
409
原创 Spring使用测试框架Test及log4j日志
1、概念1.1 传统的测试和使用Spring的测试框架的区别：传统测试存在问题:1,每个测试都要重新启动Spring容器，启动容器的开销大，测试效率低下。2,不应该是测试代码管理Spring容器，应该是Spring容器在管理测试代码。2、配置Test2.1 添加依赖除了Spring基础配置需要的core和beans，还需要以下依赖<!--Spring测试（test）依赖-...
2019-09-03 17:03:44
912
原创 Spring简介及基本配置
1、Spring简介1.1 什么是SpringSpring是一个轻量级的控制反转(IoC/DI)和面向切面编程(AOP)的开源容器框架，致力于构建轻量级的JavaEE应用，简化应用开发，本身涵盖了传统应用开发，还拓展到移动端，大数据等领域。什么是容器（Container）：从程序设计角度看就是装对象的的对象，因为存在放入、拿出等操作，所以容器还要管理对象的生命周期，如Tomcat就是Serv...
2019-09-03 16:49:39
442
原创 Mybatis开启一级、二级缓存
1、缓存（1）概念：在内存中开辟的一个区域，用于存放数据，在内存中存放的数据叫做缓存。（2）好处：内存读取速度远快于硬盘，合理利用缓存，可以极大的提高查询的效率。1.1 一级缓存一级缓存的作用域是当前的SqlSession（Mybatis中的sql对象，封装了jdbc的增删改查），但是SqlSession的生命周期比较短暂，所以一级缓存提升性能有限。1.2 二级缓存1、概念（1）什...
2019-09-01 20:57:54
1195
原创 Mybatis多表联合查询（多对多）
1、多对多查询1 准备工作（1）数据表准备：以老师表和学生表举例（多对多关系需要创建一个中间关系表）（2）实体类准备2 额外查询这里使用额外查询和关联查询都可以。可以通过学生表查询老师表，也可以通过老师表查询学生；这里以学生表查询老师表为例。（1）在学生表对应的mapper映射文件中，写入代码：<resultMap id="map1" type="com.ujy.m...
2019-09-01 20:38:24
559
原创 Mybatis多表联合查询（多对一和一对多）
1、多对一查询1 准备工作（1）数据表准备这里以员工表和部门表举例，多个员工对应一个部门。在多的一方建立外键，来存储部门id号（无需在navicat中设置外键，会影响查询效率）（2）项目层级结构：（3）实体类准备2 额外查询**额外sql的查询方式，通过association标签获取到另一个sql语句查询回来的结果**association:处理单一的关联对象prop...
2019-09-01 10:55:16
1420
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人