- 博客(38)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 2021-07-02
SpringBoot的普通参数与基本注解一、注解1、@PathVariable 路径变量@RequestHeader 获取请求头@ModelAttribute 获取request域属性@RequestParam 获取请求参数@MatrixVariable 矩阵变量@CookieValue 获取cookie值@RequestBody 获取请求体等等例如@RestControllerpublic class ParameterTestController { // car
2021-07-02 16:54:55
142
原创 2021-06-30
SpringBoot2核心技术一、配置文件1、文件类型1.1、properties同以前的properties用法1.2、yaml1.2.1、简介YAML 是 “YAML Ain’t Markup Language”（YAML 不是一种标记语言）的递归缩写。在开发的这种语言时，YAML 的意思其实是：“Yet Another Markup Language”（仍是一种标记语言）。非常适合用来做以数据为中心的配置文件1.2.2、基本语法key: value；kv之间有空格大小写敏感使用
2021-06-30 16:46:59
133
原创 2021-06-29
Idea开发中的一些神器一、Lombok用途：简化JavaBean开发1、引入Lombok<dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId></dependency>然后在Plugins里搜索Lombok插件并安装2、用法//原Bean@Component@ConfigurationP
2021-06-29 16:35:51
121
原创 2021-06-28
SpringBoot2核心入门一、Spring与SpringBoot1、Spring的生态覆盖了：web开发数据访问安全控制分布式消息服务移动开发批处理…2、为什么用SpringBootSpringBoot优点创建独立Spring应用内嵌web服务器自动starter依赖，简化构建配置自动配置Spring以及第三方功能提供生产级别的监控、健康检查及外部化配置无代码生成、无需编写XML3、如何学习SpringBoot官网文档架构二、SpringBoot2入门1
2021-06-28 15:57:25
80
原创 2021-06-23
Ajax一、概念Ajax是ASynchronous JavaScript And XML的缩写，翻译过来就是异步的JavaScript和XML同步和异步：客户端和服务器端相互通信的基础上：同步☞客户端必须等待服务器端的响应，在等待的期间客户端不能做其他操作????异步☞客户端不需要等待服务器端的响应，在服务器处理请求的过程中，客户端可以进行其他的操作????意思就是，Ajax可以实现无需重新加载整个网页的情况下，通过在后台与服务器进行少量数据交换，使网页实现异步更新，即对网页的某部分进行更新
2021-06-23 16:33:10
68
原创 2021-06-21
若依框架的代码生成记录若依框架的官方代码生成文档根据文档学习代码生成的过程1、修改代码生成配置编辑ruoyi-admin中resources目录下的application.yml2、新建数据库表结构（单表）若依建表有个要求：表字段 和 表，都需要加注释，注释就是生成页面的显示内容这个sql和官网的sql除了表名其他都一样（如果是用图形化工具或者自己写SQL一定要记得加注释）3、项目中新建模块，并解决项目依赖的关系①新建一个名为 ruoyi_schedule 的模块②在pom.xm
2021-06-21 17:04:35
494
原创 2021-06-15
虚拟环境管理工具virtualenvwrapper一、虚拟环境管理工具的作用上次学习了如何配置虚拟环境。每次在创建新的虚拟环境之前，先在真实环境中执行一下 pip list，看一下我们的pip用不用更新我的环境下各pip已更新到最新版本。但是之前也遇到过有黄色字体的提示：就需要更新一下pip了，否则我们克隆的虚拟环境pip也没有更新，安装的第三方包可能会出现莫名其妙的问题虚拟环境管理工具，为什么要有这个东西呢，是因为原来的那种方式，还是麻烦，每次cmd还得进入虚拟环境目录下，还得激活，时间长了
2021-06-15 16:24:41
54
原创 2021-06-11
Python虚拟环境配置一、虚拟环境的作用Python的虚拟环境有什么用呢？先来举个例子，来说明为什么需要虚拟环境。我们在学习Python的时候，可能会学到越来越多的第三方库，比如爬虫，我们需要安装equests，可能学着学着，我们还需要安装bs4，或者又学着学着，我们还需要安装scrapy，再学着学着，又需要安装lxml…安装了很多的第三方库，但是我们仍然每天嗨皮敲着代码，丝毫没有发现任何问题。如果你用的是Pycharm，直到有一天，你会发现你的Pycharm会启动越来越慢还有一个问题就是，比如你
2021-06-11 16:25:10
83
原创 2021-06-09
数据可视化之flask入门一.视图所有Flask程序必须有一个程序实例Flask调用视图函数后，会将视图函数的返回值作为响应的内容，返回给客户端。一般情况下，响应内容主要是字符串和状态码。当客户端想要获取资源时，一般会通过浏览器发起HTTP请求。此时，Web服务器使用WSGI（Web Server Gateway Interface）协议，把来自客户端的所有请求都交给Flask程序实例。WSGI是为 Python语言定义的Web服务器和Web应用程序之间的一种简单而通用的接口，它封装了接受HTTP请
2021-06-09 16:07:04
237
原创 2021-06-08
WebElement接口常用方法和属性1.操作元素方法了解完定位元素（Locate Elements）之后，需要对已经定位好的对象进行操作，这些操作的交互行为通常需要通过WebElement接口来实现举一个????：自动登录百度首页的示例讲解常用的操作元素方法，包括clear()、send_keys()、click()、submit()等方法首先打开百度首页，找到“登录”按钮，并右键鼠标点击“审查元素”，可以看到百度首页“登录”按钮对应的HTML源代码如图“登录”按钮节点其实是一个name值
2021-06-08 16:09:19
100
原创 2021-06-07
一、Python操作Sqlite3数据库SQLite是一款轻型数据库，是一种遵守事务ACID性质的关系型数据库管理系统，它占用的资源非常低，能够支持Windows/Linux/Unix等主流操作系统，同时能够跟很多程序语言如C#、PHP、Java、Python等相结合使用。SQLite可以使用Sqlite3模块与Python进行集成，Sqlite3模块是由Gerhard Haring编写的，提供了一个与DB-API 2.0规范兼容的SQL接口。读者可以直接使用Sqlite3模块，因为Python 2.5
2021-06-07 15:38:39
108
原创 2021-06-04
Python操作MySQL数据库Python访问数据库需要对应的接口程序，可以把接口程序理解为Python的一个模块，提供了数据库客户端的接口访问功能。今天学习Python通过调用MySQLdb扩展包操作MySQL1.安装MySQL扩展包从Python官网下载安装文件https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient这里遇到了问题，安装过程中报错，这个问题困扰了我一上午，在网上查了很久一开始是Python version 2.7 r
2021-06-04 16:32:48
75
原创 2021-06-03
xpath提取信息及CSV文件一、xpath提取1.获取xpath节点方法xpath是按照HTML标签的方式进行定位的，谷歌浏览器自带有xpath，可以直接复制过来使用，简单方便，运行速度快。输出结果为：//*[@id=“content”]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]在需要的内容上右键，在copy选项中选择copy xpath使用xpath时，也必须先对网页进行 lxml 库中的 etree 解析，把它变为特有的树状形式，
2021-06-03 15:56:03
991
原创 2021-06-02
Requests爬取一.requests基本用法requests模块是用Python语言编写的、基于urllib的第三方库，采用Apache2 Licensed开源协议的http库。它比urllib更方便简洁，既可以节约大量的工作1.导入requests模块import requests2.发送请求requests模块可以发送http常用的两种请求：GET请求和POST请求。其中GET请求可以采用url参数传递数据，它是从服务器上获取数据；而POST请求是向服务器传递数据r = reques
2021-06-02 16:09:17
55
原创 2021-06-01
博客爬取实例以个人博客为例，用正则表达式爬取网站个人网址http://www.eastmountyxz.com/需要爬取的内容如下：博客网址的标题（title）内容爬取所有图片的超链接，比如爬取< img src=”xxx.jpg” />中的“xxx.jpg”分别爬取博客首页中的四篇文章的标题、超链接及摘要内容，比如标题为“再见北理工：忆北京研究生的编程时光”第一步 浏览器源码定位首先通过浏览器定位需要爬取元素的源代码，比如文章标题、超链接、图片等，发现这些元素对应HTML源代
2021-06-01 16:52:04
99
原创 2021-05-31
定位节点及网页翻页分析获取到网站的信息之后，有些信息是融合在一起的，而在数据分析时，通常需要将某些具有使用价值的信息提取出来，并存储至数组、列表或数据库中两种常见的方法：(1) 文本分析。从获取的电影简介文本信息中提取某些特定的值，通常采用字符串处理方法进行提取(2) 节点定位。在写爬虫过程中定位相关节点，然后进行爬取所需节点操作，最后赋值给变量或存储到数据库中仍然以豆瓣电影Top250为例，结合BeautifulSoup技术，采用节点定位方法获取具体的值。点开HTML网页，检查对应的< l
2021-05-31 16:58:12
78
原创 2021-05-28
利用python，爬取网站的图片使用 requests 库与 re 模块进行爬虫编写一、目标数据源分析本次待抓取的目标地址为：https://bbs.mihoyo.com/dby/home/47?type=2该页面为图片列表页，采用下拉浏览器刷新形式进行数据加载。分析该页面数据，需要借助谷歌浏览器自带的开发者工具，通过 F12 唤醒开发者工具此时第一个问题出现，该网站使用 JS 调试禁止用户唤醒开发者工具即网页 JS 注入了下述代码：(function anonymous() { de
2021-05-28 16:19:52
293
原创 2021-05-27
实战中使用python爬取时对文档的定位和搜索（二）一、过滤1.text文本，通过text参数可以搜索文档中的字符串内容，与name参数的可选值一样，text参数接受 字符串，正则表达式，列表file = open('./aa.html', 'rb') html = file.read() bs = BeautifulSoup(html, "html.parser") t_list = bs.find_all(attrs={"data-foo": "value"}) for item in
2021-05-27 16:54:37
55
原创 2021-05-26
实战中使用python爬取时对文档的定位和搜索一、findall方法查找所有1.字符串过滤：查找与字符串完全匹配的内容过滤器贯穿整个搜索API，过滤器可以被用在tag的name中，节点的属性等2.正则表达式过滤：如果传入的是正则表达式，那么BeautifulSoup4会通过search()来匹配某一个标签及其内容from bs4 import BeautifulSoup import re file = open('./aa.html', 'rb') html = file.read()
2021-05-26 16:38:53
50
原创 2021-05-25
Beautifulsoup拓展一、BeautifulSoup4将复杂HTML文档转换为复杂的树形结构，每个节点都是Python对象所有对象可以归纳为Tag、NavigableString、BeautifulSoup、Comment四类1、Tag 标签以百度首页为例from bs4 import BeautifulSoupfile = open("./Baidu.html","rb") #readbits，二进制读取html = file.read()bs = BeautifulSoup
2021-05-25 16:38:11
115
原创 2021-05-24
得到指定某个url的内容def askURL(url): head = {"User - Agent": "Mozilla / 5.0(Windows NT 10.0; Win64;x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 90.0.4430.212 Safari / 537.36"}先指定头部，以字典的形式，内容是成对出现的字符串“User-Agent”的意义是告诉豆瓣服务器我们指定的是浏览器内容而不是某python程序（这里如果
2021-05-24 16:50:51
57
原创 2021-05-20
网络数据爬取的深入学习1、准备工作通过浏览器查看分析目标网页，学习编程基础规范获取数据通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容解析内容得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析保存数据保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件借用chrome开发者工具（F12）分析网页，在Elements下找到需要的数据位置2、编
2021-05-20 17:07:38
370
原创 2021-05-19
一、某日期以来的世界各国疫情数据爬取1 思路把功能封装到一个类中每一个小功能变成一个方法1.1 定义一个类class CoronaVirusSpider(object):让定义类从首页开始工作利用self方法指定被访问的页面，init使初始化时就把页面准备好 def __init__(self): self.home_url = 'https://ncov.dxy.cn/ncovh5/view/pneumonia'封装一个发送请求的方法，提高代码复用性def get
2021-05-19 16:45:04
91
原创 2021-05-18
一、昨天报错的原因和处理方法昨天在数据爬取的过程中遇到了列表数组越界报错在询问了大佬之后，得知是script = soup.find(id='getListByCountryTypeService2true')text = script.text应该为script = soup.find(id='getListByCountryTypeService2true')text = script.string原因是text已经指定了str类型，而我查找的内容超出了text的范围的“bs4.e
2021-05-18 16:54:30
58
原创 2021-05-14
把JSON字符串, 转换为PYTHON数据1.准备JSON字符串json_str = '''[{"provinceName":"美国", "currentConfirmedCount":1179041,"confirmedCount":1643499}, {"provinceName":"英国", "currentConfirmedCount":222227,"confirmedCount":259559}]'''2.把JSON字符串, 转换为PYTHON数据rs = json.loads(j
2021-05-17 16:51:28
57
原创 2021-05-14
贪婪和非贪婪在学习python爬虫抓取的时候，使用正则表达式匹配字符串的课程中，涉及到了匹配过程中的贪婪与非贪婪模式。由于对于这个概念不了解，今天系统地学习一下根据百度释义：贪婪与非贪婪模式影响的是被量词修饰的子表达式的匹配行为：贪婪模式在整个表达式匹配成功的前提下，尽可能多的匹配，而非贪婪模式在整个表达式匹配成功的前提下，尽可能少的匹配属于贪婪模式的量词，也叫做匹配优先量词，包括：“{m,n}”、“{m,}”、“?”、“*”和“+”在匹配优先量词后加上“?”，即变成属于非贪婪模式的量词，也叫做
2021-05-14 15:27:44
51
原创 2021-05-13
一、使用正则表达式提取json字符串json_str = re.findall(r'\[.+\]', text)[0]print(json_str)使用正则表达式就应加一个字符“r”。要提取的是网站信息中的json语句，如图所示就是图中中括号里的内容，所以搜索条件就是“ [] ”；但由于中括号在正则表达式中有特殊意义，所以要用到一个反转字符“ \ ”；“ [0] ”表示字符串里的第一个元素可以得到二、json模块json模块是Python自带的模块, 用于json与python数据之间的
2021-05-13 16:55:02
1218
原创 2021-05-12
一、re.findall() 方法重点内容：re.findall(pattern, string, flags=0)作用: 扫描整个string字符串,返回所有与pattern匹配的列表参数:pattern: 正则表达式string: 从那个字符串中查找flags: 匹配模式返回：返回string中与pattern匹配的结果列表举例：re.findall("\d","chuan1zhi2") >> ["1","2"]rs = re.findall("a.+bc", "a
2021-05-12 16:19:31
55
转载 今日学习笔记
一、正则表达式 - 修饰符（标记）标记也称为修饰符，正则表达式的标记用于指定额外的匹配策略。标记不写在正则表达式里，标记位于表达式之外，格式如下：/pattern/flags常用的修饰符：i ignore - 不区分大小写 将匹配设置为不区分大小写，搜索时不区分大小写: A 和 a 没有区别。g global - 全局匹配 查找所有的匹配项。m multi line - 多行匹配 使边界字符 ^ 和 $ 匹配每一行的开头和结尾，记住是多行，而不是整个字符串的开头和结尾。s 特殊字符圆点 .
2021-04-30 14:59:46
98
1
原创 2021-04-29
一、Tag对象对应于原始文档中的XML或HTML标签Tag有很多方法和属性, 可用 遍历文档树 和 搜索文档树 以及获取标签内容Tag 对象常见属性name: 获取标签名称attrs: 获取标签所有属性的键和值text: 获取标签的文本字符串一个案例：从疫情首页提取各国最新疫情数据思路:导入相关模块import requestsfrom bs4 import BeautifulSoup发送请求, 获取疫情首页内容response = requests.get('http
2021-04-29 16:56:18
471
原创 今日学习笔记
学习利用python爬虫获取数据一、获取requests模块二、新建项目进行测试导入模块import requests发送请求, 获取响应response = requests.get('http://www.baidu.com')目的是为了获取到百度网站首页的内容print(response)获取响应数据print(response.encoding) 二进制编码形式的输出print(response.text)打开之后全是乱码，因为代码是ISO-885
2021-04-28 16:36:27
99
1
原创 今日学习笔记
springboot的web项目的启动使用内置tomcat启动的方式：1、IDEA中main函数启动2、mvn springboot-run 命令3、java -jar XXX.jar配置内置tomcat属性：关于Tomcat的属性都在org.springframework.boot.autoconfigure.web.ServerProperties配置类中做了定义，我们只需在application.properties配置属性做配置即可。通用的Servlet容器配置都已”server”左右前缀
2021-04-27 16:56:53
68
1
原创 今日学习笔记
导入Excel文件到数据库这节课的目的是把D盘中的一个xslx文件导入到项目中创建一个新的输入流内容是：public static void main(String[] args) throws Exception {用户名userName 手机号phone 省份privince 城市city 工资salary 入职日期hiredate 出生日期birthday 现住地址addressSimpleDateFormat simpleDateFormat = new SimpleDateForma
2021-04-25 17:00:35
120
原创 今日学习笔记
在页面中实现Excel文档的上传和下载1、为了方便操作，基于Excel的报表批量上传数据，也就是把Excel中的数据导入到系统中2、通过java代码生成Excel报表。也就是把系统中的数据导出到Excel中，方便查阅常见的操作工具：JXL和POIJXL支持的版本比较旧，兼容性差，所以至今使用较多的是兼容性更强的POIPOI是apache的项目,可对微软的Word,Excel,PPT进行操作,包括office2003和2007,Excle2003和2007所用到的依赖：使用POI来创建一个工作
2021-04-23 16:45:36
43
原创 今日学习笔记
Error:(3, 32) java: 程序包org.springframework.boot不存在今天在执行教程项目时，总是遇到找不到jar包的报错以上等等寻找了各自办法：1.在pom.xml配置文件中添加依赖依然报错，重新加载maven库也没有解决2.Build–>Rebulid Project在项目根目录执行cmdmvn clean install -Dmaven.test.skip=true也不行，这个方法原理上跟第一个是一样的，只不过是工具操作和dos语句的区别，没有
2021-04-23 11:02:14
46
原创 今日学习笔记
在Java项目中加入可视化数据视图JfreeChart是用Java开发的开源库，它可以在基于Java的应用程序可用于创建各种各样的图表。通过使用JFreeChart，可以创建2D和3D图表，如饼图，条形图，折线图，XY图和3D图表所有常用的主要类型JFreechart根据视频内容学习搭建、编写的方法一、导入数据库二、快速开发在IDEA中打开项目，设置Maven库，导入项目结构这里是项目所需要的依赖要记得在Setting.xml中修改maven库配置运行MyApplication类，观
2021-04-22 17:07:10
50
原创 今日学习笔记
Springboot项目部署Spring Boot 默认自带了一个嵌入式的Tomcat服务器，可以以jar方式运行，更为常见的情况是需要将Spring Boot 应用打成一个war包，部署到Tomcat等服务器上一、使用War包方式上传在pom.xml文件中，将打包方式设置为war。修改启动类，重写初始化方法：继承自SpringBootServletInitializer，重写configure函数。public class Test01Application extends SpringBoot
2021-04-21 16:33:53
65
原创 今日学习笔记
在内网环境下使用IDEA创建SpringbootMVC项目在内网环境研发项目，目前遇到的最大问题是导包，无法链接互联网导致下载失败的问题，可以用手动导包的方式来解决1.在src的同级目录下创建Lib文件夹，用于保存手动导入的jar包，将下载好的jar包复制到lib文件夹中此时jar包还不能使用，需要手动导入到项目File – Project Structure选择Moudules – 再选择DependenciesMoudule source – 然后点击+号在目录中找到自己要添加的jar包
2021-04-19 11:33:10
50
空空如也
Java错误原因: 实际参数列表和形式参数列表长度不同
2020-12-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人