- 博客(67)
- 收藏
- 关注
原创 爬虫 Selector 选择器查找元素
Document parse = Jsoup.parse(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");//[attribute]:利用属性查找元素,比如:[abc] 需要加[] 除了class id 以外的都叫元素。//[attr=value]:利用属性值来查找元素,比如:[class=s name] 完整的名字。//.class:通过class名称查找元素,比如:.class_a。--jsoup解析工具所需依赖-->
2024-04-19 18:58:17
748
原创 爬虫 //获取元素中的数据
Document parse = Jsoup.parse(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");// 从元素中获取className/12.str = element.className();//根据id获取元素doc.getElementById("test");// 从元素中获取文本内容 text。// 获取元素class内容。// 从元素中获取所有属性。//获取元素中的数据。//根据id获取元素。
2024-04-19 18:22:16
507
原创 爬虫 使用 dom 方式遍历文档 解析文件,获取Document对象
Document parse = Jsoup.parse(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");//4.根据属性获取元素getElementsByAttribute 注意除了id和class以外的都可以用这个。//4.根据属性和属性值获取元素getElementsByAttributeValue。/*2.根据标签获取元素getElementsByTag*/// 3.根据class获取元素first表示获取一个通用的。
2024-04-19 00:41:54
380
原创 1.爬虫解析字符串2.提取文档内容
String s = FileUtils.readFileToString(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");Document parse = Jsoup.parse(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");//使用工具类读取文件,获取字符串。//按照标签筛选需要的内容。//按照文件解析文件字符。//按照标签筛选需要的内容。
2024-04-14 00:08:26
425
原创 爬虫jsoup解析工具之解析标题
/解析ur1地址,第一个参数是访问的ur1,第二个参数是访问时候的超时时间。//使用标签选择器,获取title标签中的内容。--jsoup解析工具所需依赖-->反之亦然不加这两个可以解析多个。* text转换为字符串。* first获取1个。
2024-04-13 00:57:24
326
原创 给爬虫设置爬取时长网络不良时使用 不设置在默认时间内没爬取到会报错
RequestConfig build = RequestConfig.custom().setConnectionRequestTimeout(1000)//创建连接的最长时间,单位是毫秒。.setConnectionRequestTimeout(500)//设置获取连接的最长时间,单位是豪秒。.setSocketTimeout(10 * 1000)//设置获取连接的最长时间,单位是豪秒。//4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。
2024-04-12 22:29:59
520
原创 正则表达式的方法提取字符串
String dk = "112233661133654";Pattern compile = Pattern.compile("1+(.)+1");Matcher matcher = compile.matcher(dk);while (matcher.find()){ String group = matcher.group(); System.out.println(group);}
2024-04-12 22:19:17
257
原创 线程池的方式爬虫
/4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。//不是每次创建新的Httpclient,而是从连接池中获取Httpclient对象。//设置每个主机的最大连接数 就是说每个网页地址最多分配10个线程。//将爬取数据解析为utf-8格式。--爬虫仅支持1.8版本的jdk-->//输入需要爬取的网址地址。//创建连接池管理器。-- 爬虫需要的日志依赖-->-- 爬虫需要的依赖-->#爬虫日志配置文件 不写就报错。爬虫配置文件位置及存放位置。
2024-04-08 00:05:11
2239
1
原创 post请求爬虫入门程序
/4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。//3.按回车,发起请求,返回响应,使用httpclient对象发起请求。//2.输入网址,发起get请求创建HttpGet对象 输入你需要爬取的网址。//1.打开浏览器,创建Httpclient对象。//将爬取数据解析为utf-8格式。//注意这个方法是爬取网址所有位置。--爬虫仅支持1.8版本的jdk-->-- 爬虫需要的日志依赖-->-- 爬虫需要的依赖-->爬虫配置文件位置及存放位置。
2024-04-06 23:52:45
996
原创 post请求搜索功能爬虫
uriBuilder.setParameter("keyword","药水哥").setParameter("search_source","1");// 组合示例https://search.bilibili.com/all?//4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。//2.输入网址,发起get请求创建HttpGet对象 输入你需要爬取的网址。//将爬取数据解析为utf-8格式。-- 爬虫需要的日志依赖-->-- 爬虫需要的依赖-->
2024-04-06 23:49:34
1660
原创 get请求搜索功能爬虫
uriBuilder.setParameter("keyword","药水哥").setParameter("search_source","1");// 组合示例https://search.bilibili.com/all?//4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。//3.按回车,发起请求,返回响应,使用httpclient对象发起请求。//2.输入网址,发起get请求创建HttpGet对象 输入你需要爬取的网址。//注意这个方法是爬取网址所有位置。
2024-04-05 17:36:24
1887
原创 java爬虫入门程序
/4.解析响应,获取数据//判断状态码是否是200 200为正常型号 其他为异常。//3.按回车,发起请求,返回响应,使用httpclient对象发起请求。//2.输入网址,发起get请求创建HttpGet对象 输入你需要爬取的网址。//1.打开浏览器,创建Httpclient对象。//将爬取数据解析为utf-8格式。//注意这个方法是爬取网址所有位置。--爬虫仅支持1.8版本的jdk-->-- 爬虫需要的日志依赖-->-- 爬虫需要的依赖-->爬虫配置文件位置及存放位置。
2024-04-05 16:58:13
1071
原创 洛克王国卡性格小游戏4
BufferedReader duqu = new BufferedReader(new FileReader("D:\\bc2\\kaixinge\\xinggewangfdang\\精灵王.txt"));JLabel beijin = new JLabel(new ImageIcon("D:\\bc2\\kaixinge\\wendang\\资源 19527.png"));//设置按钮宽高和大小。//设置按钮宽高和大小。//设置字体样式大小。//设置按钮不可点击。//设置按钮背景颜色。
2024-03-20 16:48:05
532
原创 洛克王国卡小游戏2
JLabel beijin1 = new JLabel(new ImageIcon("D:\\bc2\\kaixinge\\wendang\\资源 29527.png"));/*JMenuItem gyuwom = new JMenuItem ("关于我们");//把三级菜单对象放到菜单二级对象。//绑定动作监听 这里用方法引用。//把二级菜单对象放到菜单对象。//创建菜单对象二级对象。//创建菜单对象三级对象。//把菜单对象添加到界面。//给弹窗对象添加图片。//设置布局为自定义。//设置设置界面居中。
2024-03-20 16:46:44
520
原创 洛克王国卡小游戏1
BufferedReader duqu = new BufferedReader(new FileReader("D:\\bc2\\kaixinge\\xinggewangfdang\\捕获种宠物"));JLabel beijin = new JLabel(new ImageIcon("D:\\bc2\\kaixinge\\wendang\\驱动.png"));//把三级菜单对象放到菜单二级对象。//把二级菜单对象放到菜单对象。//创建菜单对象二级对象。//创建菜单对象三级对象。//把菜单对象添加到界面。
2024-03-20 16:45:54
810
原创 java界面代码
return JOptionPane.showConfirmDialog(this,"是否删除","删除确认",JOptionPane.YES_NO_OPTION);JButton anniu = new JButton("点击");//设置界面是否能拖拉改变大小。//设置按键位置大小。//设置界面关闭方式。//设置组件显示布局。//把按钮添加进入界面。//设置界面是否显示。
2024-02-29 22:01:39
608
原创 maven的聚合和生命周期
module>../ithema-jopo</module> ..表示往后退一级找到需要的项目。--maven的聚合 通过modules指定需要打包的maven项目-->2.在父亲类pom文件指定需要打包的项目。1.maven的生命周期。
2024-02-23 15:22:33
496
原创 java项目 maven高级分模块设计
2.创建maven项目 小技巧可以将项目创建在同一个项目下这样就可以一个大的项目有两个小的项目。4.如果报错就在pom文件添加对应的依赖的行了 原来向项目依赖就可以删除了 因为有依赖传递。注意:创建用 . 分隔即可 目录需要用\分割才能创建多级目录。3.在maven项目创建与需要使用项目一样的包。然后把对应的类方进包里面就行了。3.项目导入对应依赖。
2024-02-21 18:38:05
216
原创 springboot启动自动配置
1.自定义项命名启动类规范: 功能在前名字在后比如 aliyun-oss-spring-boot-starter starter表示启动 springboot版本需要2.7.5。3.创建org.springframework.boot.autoconfigure.AutoConfiguration.imports spring启动可读取的文件。6.需要注意的是maven文件也需要像这样导入相关的启动类和配置类项目。3.定义配置类 把编写好的需要加入baen里面的类放在配置类。
2024-02-21 09:38:34
540
原创 // 阿里云 接收文件类,图片 MultipartFile
/将接收的文件转存到磁盘文件中。//获取接收到的文件内容的输入流。String mingzi = "D:\\临时文件夹"+"\\"+s+substring;//获取文件内容的字节数组。//获取文件的大小,单位:字节。//切割文件名字 不指定指定第二个数字就最后一个到最后包头不包尾。// 阿里云 接收文件类,图片 MultipartFile。//获取传递过来的文件名字。
2024-02-21 08:47:25
234
原创 spring boot自动装配及自动装配条件判断
spring boot自动装配是通过启动类@SpringBootApplication默认扫描本包极其子包,要想扫描外部文件需要在启动类上加相应注解。
2024-02-13 00:38:29
1067
原创 springboot原理
springboot是基于Spring Framework升级的框架从而更加高效的开发主要体现在依赖配置的简化。springboot的起步依赖通过maven依赖传递包含了开发需要的依赖。
2024-02-11 14:07:21
210
原创 bean的作用域和如何手动获取bean和怎么把外部类加到bean里
/ cheshileiservs需要转换的类型可以是自定义的。//根据bean的名称 及类型获取 记得首字母要小写。//比如: dangma.add() 可以直接调用。@Configuration //表示这是一个配置类。//比如: dangma.add();// 根据bean的名称获取。//根据bean的类型获取。//手动获取springbean对象。// 记得首字母要小写。//1.获取I0c容器对象。可以通过如下方式:*/
2024-02-08 22:33:02
443
原创 AOP使用案例
Around("@annotation(com.example.tlias.AOPbao.loginin)")//切入点表达式。//获取操作方法名 com.example.tlias.conller.conllemp。//1.获取前端传递过来的jwt令牌"token"参照接口文档。//3.获取jwt令牌里面传递的id属性。//获取目标类名fdaanhuan。//2.解析jwt令牌。//获取目标方法形参数。//获取传递过来jwt令牌。//获取当前操作时间。//指定这是一个aop类。
2024-02-01 16:25:32
255
原创 创建数据库表sq语句
operate_user int unsigned comment '操作人ID',method_params varchar(1000) comment '方法参数',method_name varchar(100) comment '操作的方法名',return_value varchar(2000) comment '返回值',class_name varchar(100) comment '操作的类名',operate_time datetime comment '操作时间',
2024-01-31 18:26:46
300
原创 springboot AOP动态代理
比如@Around("execution(* com.itheima.*.impl.DeptServiceImpl.*(*))")只能表示一个哦。切入点表达式: @Around("execution(* com.example.tlias.sevicechuli.*.*(..))")可以写成@Around("execution(* com.itheima.*.impl.DeptServiceImpl.*())")Signature signature = zhixing.getSignature();
2024-01-30 17:00:58
773
1
原创 springboot事务管理
REQUIRES NEW 需要新事务,无论有无,总是创建新事务,意思就是事务嵌套了和单独创建新事务共用一个事务独立执行。作用:将当前方法交给spring进行事务管理,方法执行前,开启事务:成功执行完毕,提交事务:出现常,回滚事务。REQUIRED【默认值】需要事务,有则加入,无则创建新事务,意思就是事务嵌套了和上级事务共用一个事务。@Transactional()表示开启事务这个方法要么全部成功要么全部失败*//*1.事务传播行为:指的就是当一个事务方法被另一个事务方法调用时,去执行上面一级嵌套的事务*/
2024-01-26 21:15:03
321
原创 java selenium自动化测试工具学会可写网页脚本
wangzhan.findElement(By.xpath("//input[@name=\"wd\"]")).sendKeys("洛克王国");/*4.//a[@class="bg s_btn" and text()="酒店"] //a表标签名and text()wangzhan.findElement(By.xpath("//*[text()=\"我知道了\"]")).click();wangzhan.findElement(By.id("kw")).sendKeys("洛克王国");
2024-01-26 16:09:34
447
原创 springboot全局异常处理器捕获全局异常
RestControllerAdvice = @ControllerAdvice + @ResponseBody会将本类方法自动转换成json格式 */return Result.error("操作失败,请联系程序员改代码");//定义要捕获的异常 Exception.class 表示捕获所有异常。//Exception ex 定义异常类 出现异常是提示错误状态码。log.info("出异常了");//向前端返回错信息。
2024-01-21 15:56:55
525
原创 springboot配置文件统一管理数据
/ 实现单独一个 配置指定文件数据写法。//@lombut 实现get和set方法。//批量实现配置文件自动按照名字查找写法。# 需要实现提示依赖。2.提取配置文件数据。//抽取配置文件数据。
2024-01-17 19:15:58
401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人