Java
double_q_y
这个作者很懒,什么都没留下…
展开
-
控制台打印:Timed out receiving message from renderer:0.100原因分析
问题描述: 这几天进行违章系统爬虫的开发,使用了Selenium工具,下载最新的Chrome浏览器,使用对应的版本驱动,ChromeDriver,控制台打印如下:控制台的这些打印是不被期望的结果,严重干扰控制台的可读性分析原因:1.重新安装了浏览器;2.版本升级到了最新版本;3.对应的驱动也更换成了最新的版本;解决方案:将ChromeDriver换成之前的版本即可...原创 2020-05-12 14:13:36 · 6876 阅读 · 0 评论 -
UnsatisfiedDependencyException: Unsatisfied dependency expressed through field 'xxxxxMapper'
今天维护一个之前的项目,遇到数据库表的映射Mapper文件出现UnsatisfiedDependencyException,首先定位到数据库的问题,发现数据库的连接信息错误,由于数据库的服务器迁移,IP地址变化导致的,数据库连接不上,修改对应的数据库IP地址之后,即可正常运行。1.通过debug模式查看到数据库连接Utils中出现的异常2.修改数据库的IP地址解决异常总结:调试问题,...原创 2019-12-31 17:45:09 · 1457 阅读 · 0 评论 -
mybatis下MySQL数据库的批量更新(update by batch)和批量插入(insert by batch)
Java项目中设计数据库的操作,十有八九会遇到批量更新和批量插入的操作,基于mybatis的批量更新和批量插入1.批量插入(insert by batch)使用insert into语法加一层foreach循环实现<insert id="insertByBatch" parameterType="java.util.List"> insert into test (compa...原创 2019-11-22 18:07:57 · 1556 阅读 · 0 评论 -
BindingException:Type interface XXX is not known to the MapperRegistry
公司之前的非Spring boot项目,需要二次开发,新增表结构之后,在开发的过程中插入数据时遇到下面的异常org.apache.ibatis.binding.BindingException: Type interface com.ehi.oilRecord.dao.OilPerDistributionReserveMapper is not known to the MapperRegis...原创 2019-11-21 17:16:52 · 370 阅读 · 0 评论 -
百度知道,马蜂窝,携程问答-Java+selenium获取question的title及datetime
由于业务需求,需从百度知道,马蜂窝,携程问答,知乎等站点获取行业相关的提问,进行数据分析,以致于解决行业的问题。1.百度知道(https://zhidao.baidu.com/)由于获取数据的单一性,分析此网站遇到的有点难度的问题是当发布者发布的问题超出一定长度之后,会用省略号的形式,得到完整的数据需点击超链接,进入对应问题的页面方可得到,由于HTTPS的问题,超链接不可直接在Chrome中直...原创 2019-09-30 18:41:29 · 206 阅读 · 0 评论 -
CertificateException: No subject alternative DNS name matching XXX found 解决办法
最近访问第三方接口传递数据,出现SSL证书认证失败的情况,于是做出了如下努力:1.安装了对应网站的证书,提示证书安装成功,但是还是不可以访问;2.查阅资料,得知JDK8以后添加了证书验证的配置,将对应配置进行修改,发现还是不可以访问;决定在代码层跳出SSL验证异常信息如下:javax.net.ssl.SSLHandshakeException: java.security.cert.Ce...原创 2019-09-03 19:06:34 · 28647 阅读 · 7 评论 -
Java+selenium获取携程旅游页面分类目录爬虫
分析携程旅游页面利用爬虫获取分类目录爬取的数据再页面上的展示爬虫得到的数据展示,得到的数据一起是817条数据页面分析难点剖析1.左边的主目录,F12得到xpath是没有难度的,右边目录可查看建立在鼠标在左边的目录上再移动到右边(截图进行分析,最笨拙的方式);2.当F12查看右边目录的元素时,鼠标离开右边的目录时,F12对应的Elements将消失(通过root向下查找元素...原创 2019-07-25 19:36:24 · 443 阅读 · 0 评论 -
Protobuf+Java+Spring boot+IDEA应用
1.什么是Protobuf;2.应用环境;3.开发环境;4.具体开发过程;5.总结;原创 2019-07-08 19:06:20 · 2306 阅读 · 1 评论 -
腾讯云服务器上传文件失败返回403问题及踩过的坑
问题描述公司有一个前后端分离的项目,前端通过公司的公众号内嵌文件上传页面的项目,前端直接和腾讯云服务器进行交互,上传文件,在前后端部署结束的前提下,测试发现通过公众号上传文件失败,返回403错误码,查看API文档,得到如下结果:签名或者权限不正确,demo,testing,预发布测试都是正确的呢,最后定位问题是在线上公众号的域名变了,没有在腾讯云账号中进行配置,进行配置之后问题解决,使用的...原创 2019-06-21 17:53:32 · 11407 阅读 · 0 评论 -
匿名内部类与Lambda表达式
1.什么是匿名内部类?1.特征上:没有名字;2.实现上:既可以扩展类,也可以实现接口,但是不能两者兼备;3.限制上:如果实现接口,只能实现一个接口;4.功能上:简化代码,符合优先使用类而不是接口的设计思想;举例:/** * @description Service接口 **/interface Service{ /** * @description 接口方法1...原创 2019-06-20 15:15:32 · 887 阅读 · 0 评论 -
分布式蜘蛛浅谈
说明 目前公司需求是主题爬虫的设计实现,与爬虫不同的蜘蛛程序是一个发现目标数据源网站的过程,一般从IP地址开始入手。区别 蜘蛛和爬虫程序的区别: (1)蜘蛛程序用于发现服务,获取有数据的目标网站或者链接;爬虫程序用于分析目标数据网站,爬取数据; (2)蜘蛛的出发点是IP地址,一般通过特定的通用服务端口号,发现活跃的IP地址和端口,从而发现可用服务网站链接;爬虫的出发点是指定的网站URL...原创 2019-01-09 09:51:00 · 498 阅读 · 0 评论