- 博客(48)
- 收藏
- 关注
RSS订阅原创 7-多线程爬虫糗事百科
7-多线程爬虫糗事百科简介多线程 thread 在 Python 里面被称作鸡肋的存在！不建议使用，多是使用多进程，虽然不建议使用，还是做个笔记吧。实现线程的两种方式直接利用函数创建多线程import _threadimport time# 为线程定义函数def print_time(thread_name, delay): count = 0 while c...
2020-05-01 21:00:03
301
原创 6-JSON的处理
【Python3网络爬虫】6-JSON的处理简介JSON，全称为JavaScript Object Notation, 也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式Python中的json模块dumps、dump、loads、loadjson.loads()把Json格式字符串解码转换成Python对...
2020-05-01 20:59:16
180
原创 5-BeautifulSoup的使用
【Python3网络爬虫】5-BeautifulSoup的使用简介BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml ...
2020-05-01 20:58:36
412
原创 4-正则运用之爬取糗事百科
【Python3网络爬虫】4-正则运用之爬取糗事百科正则表达式实战巩固import requestsfrom fake_useragent import UserAgentimport reurl = 'https://www.qiushibaike.com/text/page/{}/'headers = { 'User-Agent': UserAgent().chrom...
2020-05-01 20:57:58
244
原创 3-正则表达式
【Python3网络爬虫】3-正则表达式re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。函数语法：re.match(pattern, string, flags=0)函数参数说明：参数描述pattern匹配的正则表达式string要匹配的字符串。flags标志...
2020-05-01 20:57:22
189
原创 2-Requests库的使用
【Python3网络爬虫】2-Requests库的使用介绍对了解爬虫的一些基本理念，掌握爬虫爬取的流程后，我们需要学习一些更加高级的工具和内容来方便我们的爬取，本节主要介绍requests库的基本用法安装pip insatll requests基本请求import requests# requests.apiurl = "http://www.baidu.com"requ...
2020-05-01 20:55:47
465
原创 1-urllib库的使用
【Python3网络爬虫】1-urllib库的使用内置模块介绍Python内置的HTTP请求库，包含四个模块error异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。parse一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。request它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入...
2020-05-01 20:54:06
250
原创 数据库技术构成
数据库系统，由硬件和软件两部分构成。硬件，主要用于存储数据库中的数据，包括计算机、存储设备等。软件部分主要包括DBMS（数据库管理系统）、支持DBMS运行的操作系统，以及支持多种语言进行应用开发的访问数据等。1、数据库系统数据库系统由3个主要组成部分：·数据库（DataBase System）：用于存储数据的地方。·数据库管理系统（DataBase Management Sy...
2019-10-25 15:11:38
771
原创 享元模式
享元模式运用共享技术有效的支持大量细粒度的对象，主要用于减少创建对象的数量，以减少内存占用和提高性能，属于结构型模式。提供了减少对象数量从而改善应用所需的对象结构的方式使用场景系统有大量相似对象需要缓冲池的场景优点大大减少对象的创建，降低系统的内存，使效率提高缺点提高了系统的复杂度，需要分理出外部状态和内部状态，否则可能会引起线程安全问题这些类必须有一个工厂对象加以控制...
2019-10-25 15:11:25
110
原创 idea集成docker部署springboot项目
idea集成docker部署springboot项目宿主机器/服务器docker配置配置docker远程连接端口vi /usr/lib/systemd/system/docker.service找到 ExecStart，在最后面添加 -H tcp://0.0.0.0:2375重启dockersystemctl daemon-reloadsystemctl start do...
2019-10-25 15:04:58
817
原创 HDFS(hadoop分布式文件系统)
HDFS(hadoop分布式文件系统)一、特点可存储超大文件一次写入，多次读取运行在普通廉价的机器二、不适用场景低延迟大量小文件多用户更新结构化数据数据量不大三、基本命令打印文件列表（ls）标准写法： hadoop fs -ls hdfs:/ #hdfs: 明确说明是HDFS系统路径 简写： hadoop fs -ls / #默认是HDFS系统下的...
2019-05-22 12:05:32
243
原创 # centos7安装mysql
centos7安装mysql查看当前安装的mariadbrpm -qa|grep mariadb强制删除的当前安装的mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64查看当前安装的mysqlrpm -qa|grep mysql强制删除安装的mysql安装mysqlyum -y install mysql...
2019-05-06 18:02:12
99
原创 互信ssh登录
互信ssh登录设置hostname临时设置hostname:hostname [需要改的名称]永久设置hostname:hostnamectl set-hostname[需要修改的主机名称]修改映射关系在所有节点上修改/etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.local...
2019-05-06 18:01:50
211
原创 centos设置静态ip地址
centos设置静态ip地址vim /etc/sysconfig/network-scripts/ifcfg-ens33原文TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=dhcpDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6...
2019-05-06 18:01:24
186
原创 CENTOS7关闭防火墙和selinux
防火墙CENTOS7查看防火墙状态firewall-cmd --state临时停止firewallsyatemctl stop firewalld.service永久禁止开启启动firewallsystemctl disable firewalld.serviceSELinux查看getenforce或者/usr/sbin/sestatus -v...
2019-05-06 18:00:35
6143
1
原创 Lambda表达式
Lambda表达式Ladmaba简介Lambda表达式可以理解成可传递的匿名函数的一种方式，由参数、箭头和主体组成Lambada表达式只能配合函数式接口使用，那么什么是函数式接口呢？函数式接口：只有一个抽象方法的接口，可以用@FunctionalInterface标记java8设计的几个常见的函数式接口Predicate@FunctionalInterfacepubl...
2019-04-20 23:24:01
328
原创 java实战之行为参数化传递代码
行为参数化传递代码行为参数化是一种处理频繁变更需求的软件开发模式例如现在有一个需求，我们需要筛选出所有的绿色的苹果，我们可以这么去操作源码 public static List<Apple> filterGreenApple(List<Apple> inventory){ List<Apple> result = new Array...
2019-04-20 12:30:27
242
原创 虚拟机共享文件，安装vmware tool
虚拟机共享文件，安装vmware toolmkdir /mnt/cdrom将光盘挂载到/mnt/cdrom目录下mount -t iso9660 /dev/cdrom /mnt/cdrom将名为“VMwareTools-9.2.0-799703.tar.gz”复制到/root目录下，并重新命名为vm.tar.gzcp /mnt/cdrom/VMwareTools-9.2.0-799703...
2019-02-22 20:38:38
182
原创 配置网络环境（centos7）
配置网络环境（centos7）选择NAT模式选择 编辑->虚拟网络编辑器移除VMnet8添加如下设置注意选择nat模式cd /etc/sysconfig/network-scriptsvi ifcfg/ens33，按如下内容修改ip addr查看ipping 查看网络连接...
2019-02-22 18:28:38
200
原创 外观模式
外观模式外观模式（Facade）,他隐藏了系统的复杂性，并向客户端提供了一个可以访问系统的接口。这种类型的设计模式属于结构性模式。为子系统中的一组接口提供了一个统一的访问接口，这个接口使得子系统更容易被访问或者使用。使用场景客户端不需要知道系统内部的复杂联系，整个系统只需要提供一个“接待员”即可定义系统的入口优点减少系统相互依赖提高灵活性提高了安全性缺点不符合开闭原则...
2019-01-22 16:35:05
92
原创 适配器模式
适配器模式将一个类的接口，转化成客户期望的另一个接口。让原本接口不兼容的类可以合作无间，属于结构型模式。从结构上分为类适配器、对象适配器和缺省适配器，类适配器，提供一个实现该接口的类，并且扩展已有的类，通过创建子类来实现适配，对象适配器使用对象引用进行适配。缺省适配器由一个抽象类实现，并且在抽象类中实现所有的方法，具体的子类都要继承此抽象类如何解决继承和依赖关键代码继承或依赖已有的...
2019-01-22 16:34:37
91
原创 设计模式
设计模式1. 什么是设计模式设计模式是对软件设计过程中普遍存在的问题，提出的解决方案。换句话说，设计模式就是一套被反复使用，大多人知晓，经过分类的，代码设计的经验的总结。他是为了可重用代码，让代码更容易被他人理解，保证代码的高可靠性和高位户型2. 设计模式原则开闭原则对扩展开放，对修改关闭。在程序需要扩展的时候，不修改原有的代码或者对原来的代码产生影响，达到一个热插拔的效果。...
2019-01-22 16:33:40
96
原创 桥接模式
桥接模式将抽象部分和实现部分分离，使他们可以独立的变化。它是一种对象结构型模式，又称为柄体(Handle and Body)模式或接口(Interfce)模式。桥接模式将继承关系转化成关联关系，它降低了类与类之间的耦合度，减少了系统中类的数量，也减少了代码量。优点抽象和实现的分离优秀的扩展能力实现细节对客户的透明缺点桥接模式的引入会增加系统的理解与设计难度，由于聚合关联关系建...
2019-01-22 16:32:27
102
原创 建造者模式
建造者模式将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。简单点讲，就是使用多个简单的对象一步一步构建成一个复杂的对象，属于创建型模式，提供了一种创建对象的最佳方式。优点建造者独立，容易扩展便于控制细节风险缺点产品必须有共同点，范围有限制内部变化复杂，会有很多的建造类案例以lol 盖伦、赵信召唤师为例,召唤师都有名称和qwer技能packag...
2019-01-22 16:31:39
110
原创 简单工厂模式
简单工厂模式定义工厂方法模式（英语：Factorymethod pattern）是一种实现了“工厂”概念的面向对象设计模式。就像其他创建型模式一样，它也是处理在不指定对象具体类型的情况下创建对象的问题。工厂方法模式的实质是“定义一个创建对象的接口，但让实现这个接口的类来决定实例化哪个类。工厂方法让类的实例化推迟到子类中进行。”创建一个对象常常需要复杂的过程，所以不适合包含在一个复合对象中...
2019-01-22 16:30:58
114
原创 过滤器模式
过滤器模式（标准模式）允许开发人员使用不同的标准来过滤一组对象，通过逻辑运算以解耦的方式把他们连接起来案例Person类有三个属性：姓名（Name）、性别（Gender）和婚姻情况（Marital），我们的系统中的一些功能需要对这些属性进行筛选，比如：得到所有的男性；得到所有的女性；得到所有还单身的人；得到所有已婚的人。系统还希望能够将这些条件组合起来进行筛选，比如：得到...
2019-01-22 16:30:11
123
原创 观察者模式
观察者模式(发布-订阅模式)观察者模式定义了一对多的依赖，当一个对象状态发生变化时，他的所有依赖者都会收到通知并自动更新。属于行为型模式。主要解决一个对象状态改变给其他对象通知的问题，而且要考虑到易用和低耦合，保证高度的协作关键代码在抽象类里又一个ArrayList存放观察者们优点观察者和被观察者是抽象耦合的建立一套触发机制缺点如果一个被观察者对象有很多直接或间接的...
2019-01-22 16:28:54
88
原创 代理模式
代理模式为其他对象提供一种代理以控制对这个对象的访问应用实例spring aop优点职责清晰高扩展性智能化缺点由于在客户端和真实主题之间增加了代理对象，因此有些类型的代理模式可能会造成请求的处理速度变慢。实现代理模式需要额外的工作，有些代理模式的实现非常复杂。注意和适配器模式的区别：适配器模式主要改变所考虑对象的接口，而代理模式不能改变所代理类的接口。和装饰器...
2019-01-22 16:27:51
138
原创 策略模式
策略模式定义了算法族，分别封装起来，让他们之间可以互相替换，此模式让算法的变化独立于使用算法的客户，属于行为型模式。意图定义一系列的算法，把他们一个个封装起来，使他们可以相互替换主要解决在有多种算法相似的情况下，使用if…else所带来的复杂和难以维护何时使用一个系统有许多许多类，而区分他们的只是他们的直接行为关键代码实现一个接口案例计算器的算法实现一个项目的多个主...
2019-01-22 16:25:51
155
2
转载 悲观锁和乐观锁
悲观锁和乐观锁（转载）原文发表于 2018-12-12 | 分类于 并发在介绍悲观锁和乐观锁之前,我们先看一下一个案例，简单介绍一下超反现象。超反现象案例eg：购买产品CREATE TABLE product (id int(11) NOT NULL AUTO_INCREMENT,name varchar(60) DEFAULT NULL COMMENT ‘名称’,stock in...
2018-12-13 10:03:40
67
原创 单例模式
单例模式定义单例模式，属于创建型模式，提供了一种对象创建的最佳方式。它确保了一个类只有一个实例，并提供了一个全局访问点。特征单例类只能有一个实例单例类必须自己创建自己的唯一实例单例类必须给所有其他对象提供这一实例意图保证一个类仅有一个实例，并提供一个访问他的全局访问点主要解决一个全局使用的类频繁的创建和销毁何时使用当你想控制实例数目，节省系统资源的时候如何解决判断...
2018-10-16 13:47:33
78
转载 抽象工厂模式
抽象工厂模式定义抽象工厂模式（Abstract Factory Pattern）是围绕一个超级工厂创建其他工厂。该超级工厂又称为其他工厂的工厂。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。在抽象工厂模式中，接口是负责创建一个相关对象的工厂，不需要显式指定它们的类。每个生成的工厂都能按照工厂模式提供对象。使用场景提供一个创建一系列相关或相互依赖对象的接口，而无需指定...
2018-10-16 13:44:29
83
原创 git总结
GIT分布式版本控制系统,跟踪并管理修改而非文件GIT1.配置2. github建立远程仓库3. 分支4. 解决bug方法5. 多人合作6. 标签7. 搭建git服务器1.配置git config –global user.name “your name” git config –global user.email “email.@example...
2018-04-17 16:47:49
114
原创 Mysql 中replace into
replce into替代的作用，如果添加字段中没有主键或者索引，那么他只起到添加作用；如果有主键或索引，那么则会先判断这条数据是否存在，存在则更新，不存在则添加案例：id为主键情况下执行：replace into test(id,name) values(1,"sss");再次执行：replace into test(id,name)values(1,"yyy");
2018-01-27 16:05:18
254
原创 Mysql中delete和drop的区别
delete删除表数据drop删除表结构和数据eg：delete from test; 执行结果： drop table test; 执行结果：
2018-01-27 15:47:58
4482
原创 math
package math;public class MathDemo { public static void main(String[] args) { // 定义一个值5 int a = 5; // 计算5的平方根 System.out.println("5的平方根是："+Math.sqrt(a)); double x = 5.14; double y = 6.1
2017-09-28 14:32:50
142
原创 输出某一个月的日历
package date;import java.util.Calendar;public class PrintCalendar { public static void main(String[] args) { System.out.print(" 日 一 二 三 四 五 六"); Calendar calendar = Calendar.get
2017-09-28 14:17:12
917
原创 Calendar日历函数
package date;import java.util.Calendar;import java.util.Date;public class CalendarDemo { public static void main(String[] args) { // 初始化日历 Calendar calendar = Calendar.getInstance();
2017-09-28 13:53:55
4636
原创 Date获取以及格式化
package date;import java.text.SimpleDateFormat;import java.util.Date;public class DateDemo { public static void main(String[] args) { Date nowTime = new Date(); System.out.println("当前时间是："+n
2017-09-27 16:50:37
363
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人