爬虫jsoup
文章平均质量分 92
jsoup
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
用正则表达批量快速解决如“过滤注释的//”、“查询特定单词”、“匹配特定子字符串”等工作中难题
场景:过滤调注释的“//”的定时任务,查看那些是有效的定时任务方案^((?!//.).)*@Scheduled场景:hibernate的打印sql都有as的别名,导致sql特别长,批量去掉别名方案:\sas\s\w+场景:搜索所有包含:".Autowired(" 但不包含:"Transactional." 的文件。^((?!Transactional.).)*\b[.]Autowired[(]\e*((?!Transactional.).)*$...原创 2021-07-16 13:08:44 · 266 阅读 · 0 评论 -
Jsoup解析HTML页面,进行网页爬取数据时遇到的坑
问题一:当我使用doc.getElementsByClass(“class的值”)对以下带有#空格#(多值的)的块,进行获取数据的时候,发现获取不到任何数据。解决过程:使用其它的方法替换它,使用Elements 的select(String cssQuery)Elements elements = elementsRoot.get(0).select(searchbar.sear...原创 2020-02-16 02:22:06 · 3062 阅读 · 0 评论 -
SpringBoot整合XssFilter,Jsoup等实现请求参数的过滤,处理Xss攻击及sql注入
前言SpringBoot整合XssFilter,Jsoup等实现请求参数的过滤,处理Xss攻击及sql注入,以下是涉及的主要类:原理过程Springboot中会使用FilterRegistrationBean来注册Filter,Filter是Servlet规范里面的,属于容器范围,Springboot中没有web.xml,那Springboot中,不用管Filter是如何交给Ser...原创 2020-02-09 01:31:55 · 2193 阅读 · 1 评论