Dragon Prince-CSDN博客

数据解析分类正则解析bs4解析xpath解析（学习重点）聚焦爬虫爬取页面中指定的内容（建立在通用爬虫之上）编码流程- 指定url- 发起请求- 获取响应数据- 数据解析- 持久化存储数据解析原理概述解析的局部的文本内容都会在标签之间或是标签对应的属性中进行存储进行指定标签的定位（标签定位）标签或是标签对应属性中存储的数据进行提取（解析）正则进行数据解析需求：爬取糗事百科糗图板下所有图片...

2021-01-05 22:50:45 1196 3

原创常用插件安装（持续更新中......）

pycharm下安装lxml失败解决方案

2021-01-05 14:46:38 193

爬虫简介通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程爬虫在场景中的分类通用爬虫抓取系统的重要组成部分，抓取的是一整张页面的数据聚焦爬虫是建立在通用爬虫的基础上，抓取的是页面中的的特定的局部内容增量式爬虫检测网站中的数据更新情况，只会抓取网站中最新更新出来的数据反爬机制门户网站，通过制定相关的策略或是技术网站，防止爬虫程序进行数据的爬取反反爬策略爬虫程序可以通过制定相关的策略或技术手段，破解门户网站中具备的反爬机制，从而获取门户网站中的数据robots.tx

2021-01-04 22:44:58 216

原创初识Linux操作系统

简介文件系统linux文件系统无盘符，只有根目录命令行操作：通过SSH客户端连接服务器pwd：显示当前路径cd：切换到指定路径ls：显示当前路径下所有文件以及文件夹ls -l：以列表形式显示当前文件以及文件夹ls -a：显示隐藏文件ls -h：以K为单位显示文件以及文件夹（单独使用无意义，可以配合-l使用此外参数无前后顺序，可以使用-hl代替）cd ~：返回家目录所有隐藏文件和文件夹都以.开头通配符找到以特定文件名称的文件或文件夹*：代表0个或多个任意字符?：代表1一个任意字符

2021-01-02 20:26:13 2222 9

原创 Java SE高级-JUC并发编程三

JMMJava内存模型，不存在的东西，概念，约定。关于JMM同步的约定线程解锁前，必须把共享变量立即刷回主存线程加锁前，必须读取主存中的最新值到工作内存中加锁和解锁是同一把锁8种操作VolatileVolatile是Java虚拟机提供轻量级的同步机制不保证可见性不保证原子性禁止指令重排不保证可见性import java.util.concurrent.TimeUnit;public class JMMDemo { //不加volatile程序就会死循环

2020-08-20 22:08:26 211

原创 Java SE高级-JUC并发编程二

线程池运行程序的本质，占用系统资源。优化资源的使用->池化技术三大方法、七大参数、四种拒绝策略池化技术实现准备一些资源，有人要用，从这里拿出去，用完后放回来线程池技术降低资源消耗提高响应速度方便管理线程复用，可以控制最大并发数，管理线程线程池3大方法源码分析//核心线程数//最大线程数//超时等待//超时等待时间单位//阻塞队列（候客区）//线程工厂//拒绝策略 public ThreadPoolExecutor(int corePoolSize

2020-08-20 22:08:02 245

原创 Java SE高级-JUC并发编程一

JUC并发编程什么是JUC线程和进程进程一个程序，例如：QQ.EXE 程序的集合一个进程可以包含多个线程，至少包括一个Java默认有2个线程线程开一个进程Yypore，写字，自动保存（进程负责的）Java无法直接开启线程，只能通过调用本地方法开启并发与并行并发CPU 一核，在同一时间段内交替执行并行CPU多核，多个线程同时执行public class Test01 { public static void main(String[] args) {

2020-08-20 21:54:27 291

原创 MySQL数据库（初阶）

数据库什么是数据库用于存储和管理数据的仓库特点持久性方便存储和管理数据使用统一的方式操作数据库MySQL服务启动方式1、手动2、cmd->services.msc 打开服务窗口3、使用管理员打开cmdnet start mysql57 启动MySQL服务net stop mysql57 关闭MySQL服务MySQL登录mysql -u root -p登录其它用户数据库（这里以登录自己的为例）mysql -h 127.0.0.1 -u root

2020-08-10 22:48:07 211

原创 Java WEB-Filter过滤器

Filter过滤器Filter过滤器是Java WEB三大组件之一，Servlet程序，Listener监听器，Filter过滤器Filter是Java EE的规范，即接口Filter过滤器作用：拦截请求，过滤响应拦截请求常见的操作filter过滤器的shi...

2020-08-08 21:32:24 124

原创 Java WEB-Cookie、Session、Filter

什么是CookieCookie是服务器通知客户端保存键值对的一种技术客户端有了Cookie之后，每次请求都发给服务器每个Cookie的大小不能超过4KB创建Cookie服务器如何获取CookieCookie值的修改方案一方案二Cookie对象值的注意事项谷歌浏览器操作CookieCookie生命控制Cookie生命控制表示Cookie什么时候被销毁正数：表示在指定秒数之后负数：表示浏览器一关，Cookie就会被删除零：表示马上删除Cookie...

2020-08-08 21:13:54 188

原创 Java WEB-JSP及Listener

####什么时JSP概念JSP全称时Java Server Pages。Java的服务器页面JSP的主要作用主要是替代servlet回传html页面数据因为servlet回传html页面是一件非常繁琐的事情，开发黑盒维护成本极高jsp文件创建在web目录下创建一个jsp文件，通过jsp和html一样，都是存放在web目录下，访问和访问html页面一样访问地址：http:ip/port/工程路径/a.htmljsp本质是一个servlet程序当第一次访问jsp文件时，tomca

2020-08-08 20:49:36 163

原创 Java WEB-EL表达式、JSTL标签库

EL表达式Experssion Language，是表达式语言EL表达式的作用主要是替代jsp页面中的脚本表达式，脚本在jsp页面中进行数据传输EL表达式在输出数据的时候，要比jsp的表达式脚本要简单的多EL表达式使用EL表达式四个域的使用顺序EL表达式输出复杂的bean对象关系运算逻辑运算算数运算.运算和[]括号运算. 运算可以输出bean对象中属性的值[]运算可以输出有序集合中某个元素的值，还可以输出map集合中带有特殊字符串keyEL表达式11个隐含对象EL

2020-08-08 17:46:54 173

原创 Java Web-tomcat

简介使用ajax好处可以实现页面的部分刷新使用ajax开发的网页可以使用户感受更好传统web开发和ajax开发区别图解传统的web开发当浏览器向服务器发送的请求被处理之后，浏览器才可以发送下一个请求，这要用户体验效果较差ajax开发浏览器可以不断地向ajax引擎发送请求，ajax引擎（浏览器内置）将请求发送给服务器，这样效率较高ajax入门如何发送一个ajax请求获取一个对象2. 设置一个回调函数（作用处理服务器响应数据）3. 设置请求方式get/post以及请求的ur

2020-08-08 17:31:33 146

原创 Java WEB-DOM回顾

DOM对象DOM对象是将标记型文本的所有内容都封装成对象通过操作对象的属性和方法，来达到操作HTML展示效果的DOM树HTML标签会被浏览器从上到下依次执行，加载并解析，保存到浏览器的内存中每个标签会被加载成DOM树的一个元素节点对象每个标签属性会被加载称为DOM树的一个属性节点对象每个标签内容会被加载称为DOM树的一个文本节点对象整个DOM树是一个文档节点对象即DOM对象一个HTML加载到内存中就会形成一个DOM对象DOM树特点必定有一个根节点每个节点都是节点对象每个

2020-08-08 16:43:05 124

原创 Java Web 回顾-HCJ

盒子模型所有的HTML元素都可以看作一个四边形盒子marign：外边距padding：内边距边框，内边距，外边距（上下左右）

2020-08-08 15:56:18 183

原创 Java SE-线程池的简介

简介线程池：是一个容纳多个线程的容器，其中的线程可以反复使用，省去了频繁创建线程的操作，无需要反复创建线程而消耗资源线程池：降低资源消耗，提高线程速度，提高线程可管理性...

2020-08-08 15:01:13 124

原创 Java SE核心多线程二

线程安全单线程程序不会出现线程安全问题多线程程序没有访问共享数据不会出现线程安全问题多线程访问共享数据会产生线程安全问题当某一线程睡眠时，它即失去了cpu的执行权卖票案例public class ThreadSafe implements Runnable{ //定义一个多线程的票源 private int ticket = 100; /** * 线程安全问题：买票 * */ //设置线程任务：卖票 @Override

2020-08-08 14:49:10 106 2

原创 Java SE-多态及内部类

多态多态：通过父类引用不同的子类Java实现多态的三个必要条件继承、重写、向上转型class Animal { //父类方法 public void bark() { System.out.println("动物叫！"); }}class Dog extends Animal { //子类重写父类的bark方法 public void bark() { System.out.println("汪、汪、汪！");

2020-08-07 20:55:13 261

原创 Java SE-补充StringBuild

String类String类底层使final修饰的数组，所以不可改变内容，是一个常量字符串是常量，再创建后不可以修改StringBuild类字符串缓存区，可以提高字符串操作效率底层也是一个数组，但是没有final修饰，可以改变长度StringBuild用法new StringBuild();构造一个不带任何字符的字符串生成器，初始容量为16个字节包装类概念：可以使用一个类，把基本数据类型包装起来，再类中定义一些方法，这个类叫做包装类，可以使用类中的方法来操作这些基本类型的

2020-08-01 11:30:23 114

原创 Java SE-高级

NIO概述及区别NIO是面向缓冲区的，IO是面向流的jdk8新特性接口中新生静态方法、默认方法集合中HashMap中添加了红黑树结构lambda表达式函数式接口方法引用于构造器引用Stream APIOptional类Optional类为了避免程序中出现空指针异常而创建代理模块原理使用一个代理将对象包装起来，然后该代理对象取代原始对象，任何对原始对象的调用都要通过代理，代理对象决定是否以及何时将方法调用到原始对象上静态代理静态代理举例静态代理却缺点代

2020-08-01 11:28:10 81

原创 Java SE-Junit、反射、注解

Junit单元测试测试分类黑盒测试白盒测试区别黑盒测试不需要写代码，给出输入，看结果是否符合输出白盒测试需要写代码关注程序的具体执行流程Junit单元测试Junit单元测试为白盒测试使用步骤具体导入环境见收藏夹public class Calculator { public int add(int a, int b) { return a+b; } public int sub(int a, int b) {

2020-08-01 11:27:31 129

原创 Java SE-Stream流

流流式思想概述区别于传统的IO流，这里的流而是一种流水线思想流式思想示意图这里的filter、map、skip都只是对函数模型进行操作，并没有真正对集合元素处理，只有当最终方法count执行时，整个模型才会按照指定策略执行，这得益于lambda的延迟执行特性Java中stream流并不会存储元素，而是按需计算获取流1、所有的Collection集合都可以通过stream默认方法获取流2、Stream接口静态方法of可以获取数组对应的流Stream流是jdk1.8之后出现的不关

2020-08-01 11:23:57 257

原创 Java SE-函数式接口及函数式编程

模拟服务器代码的实现函数式接口概念有且仅有一个抽象方法的接口（可以有其他类型方法，但是仅有一个抽象方法）Java中函数式接口体现就是lamda表达式语法糖是指使用更便捷，但是原理不变的代码语法，例如在遍历集合中使用for-each语法，但是代码底部使用迭代器实现注意事项使用lamda表达式比使用匿名内部类效率更高，以为不需要生成class文件函数式编程函数式接口作为方法的参数函数式接口作为方法的返回值类型Supplier接口Consumer接口andThen练习Pred

2020-08-01 11:09:07 129 1

原创 Java SE-网络编程二

软件结构C/S结构B/S结构网络通信协议java.net包中提供了2中常用的协议UDP协议：用户数据报协议无连接通信协议，即数据传输时，数据的发送端和接收端不建立逻辑连接耗资小，效率高（视频会议）偶尔会丢失数据包，不可靠发送数据限制在64KTCP协议：传输控制协议面向连接的通信协议无差错的可靠的数据传输TCP连接中要明确客户端和服务器，每次连接时要创建三次握手三次握手第一次握手：客户端向服务器发出连接请求，等待服务器确认第二次握手：服务器向客户端回送一个响应，通

2020-08-01 11:08:44 105

原创 Java SE-IO操作二

IO流概述输入输出流顶级父类字节流一切皆为字节：一切数据都是以二进制行式保存FileOutputStream类注意：GBK中三个字节是一个中文，UTF-8中俩个字节是一个中文向文件中写入一个字节图解构造方法作用：会根据构造方法中传递的文件路径，创建空的文件会把FileOutputStream对象指向创建好的文件写入数据的原理（内存-》硬盘）Java程序-》jvm虚拟机-》OS（操作系统）-》OS调用写数据的方法-》把数据写入到文件中向文件中写入一个字节 /**

2020-08-01 11:04:41 175

原创 Java SE-IO操作一

分隔符在windows中\代表文件分隔符在lunix中/代表文件分隔符路径名称不区分的大小写一般不降分隔符写死了import java.io.File;public class Demo01File { /** * 路径名称不区分的大小写 * 在windows中\代表分隔符，要以转义字符行式体现即\\ * * */ public static void main(String[] args) { //路径

2020-08-01 10:40:06 96

原创 Java SE核心-日期类回顾

日期类时间原点1970年1月1日0:0:0（英国格林尼治时间）中国在东八区，会将时间加8小时即：1970年1月1日8 :0:0Date类import java.util.Date;public class Demo01Date { /** * 时间原点：1970年1月1日0：0：0（英国格林尼治时间） * 中国在东八区，要加上8小时 * * */ public static void main(String[] arg

2020-08-01 10:17:06 198

空空如也

空空如也