HTTP
文章平均质量分 55
HTTP相关
视图猿人
QT,图像处理,视频处理,AI深度学习
展开
-
网站信息采集系列(五)--百度新闻
本文实现在百度新闻搜索栏中自动输入关键字搜索(以“军事”为例),并自动采集搜索的内容,采集内容包含新闻标题,链接,来源,时间,摘要,并显示在表中,并将效果如下图所示:1.网页分析关键字搜索框及点击按钮直接使用ID来确定,比较方便。搜索到的内容:里面的内容比较多,需要找下,下面直接贴代码。2.主要代码输入关键字并点击搜索按钮var input_element = document.getElementById('ww');input_element.原创 2021-12-13 23:22:49 · 971 阅读 · 0 评论 -
网站信息的采集系列(二)--百度搜索内容的采集
本文实现在百度搜索栏中自动输入关键字搜索(以“二氧化碳人工合成淀粉”为例),并自动采集搜索的内容(自动点击下一页5次),采集内容包含文章标题,文章链接,文章的摘要,并显示在表中,有需要的话可以存储到excel中,效果如下图所示:为了能处理获取到的数据,首先使用QWebEngine做了一个简单的浏览器,输入地址即可进入指定网页,然后添加了显示采集结果的表,如有需要可以将表中的内容存储到excel中。先用浏览器开发者工具查看下百度的搜索页面:分析可知,本页显示的搜索结果在i...原创 2021-11-04 22:47:56 · 508 阅读 · 0 评论 -
桌面程序聊天窗口的自动输入内容及自动发送
本文以获取桌面QQ聊天窗口为例,简要概述如何获取QQ聊天窗口及自动写入数据及自动发送。本文仅对如何自动发送信息做了简要概述,非技术类文章。1 首先下载个窗口分析工具,例如winhwnd,wininfo等获取窗口的类名,QQ聊天窗口的主框架类名是TXGuiFoundation,主框架里面包含了几个子类,也需要分别记录。2 聊天窗口的获取使用windows 提供的函数EnumWindows枚举所有窗口,利用回调函数找到需要的窗口。(QQ输入内容的窗口没有类名,只能采用过滤方法)聊天窗口句柄的原创 2021-08-27 11:19:16 · 789 阅读 · 0 评论 -
网页聊天窗口的自动输入内容及自动发送
本文简要描述如何实现网页聊天窗口的自动输入内容和自动发送:1 利用浏览器开发者工具找到需要输入内容元素一般是input或者textereadocument.getElementById(‘inputID’),或者使用document.getElementsByClassName(‘inputClass’)—这个函数返回的是NodeList.如果有点击按钮的话,使用同样方法获取这个点击的按钮;2 设置输入窗口的内容,并发送已有内容的通知Element.value = “abc123原创 2021-11-07 16:15:42 · 1929 阅读 · 0 评论 -
QWebEngine加载本地js文件到网页
QT提供了WebEngine Content Manipulation Example例子说明如何加载本地的jquery文件。网上也有很多如何利用QWebChannel实现C++与JS互相通信的例子。下面总结一下如何将qwebchannel.js加载到非本地网页(qwebchannel.js在QT的安装目录可以搜索到)。1 打开qwebchannel.js文件QString script; //类的成员函数QFile jsFile("c:/channel/qwebchannel.js"...原创 2021-08-18 22:34:13 · 981 阅读 · 0 评论 -
QWebEngine登录网页并获取数据
利用QWebEngine登录需要账号密码的网页并获取想要的数据,以某游戏网站为例,此网站每隔一段时间会更新某些数据。1 设置QWebEngineView的urlQWebEngineView::setUrl(“**”)地址:在QWebEngineView的显示如下,输入已经准备好的账号密码登录成功后转到网站首页,此时已经可以利用QWebEnginePage::setUrl(或者load)转到网站的任意子网页。2 转到指定的子网页,例如网站加载完成后,就可以获取想要的数据了。原创 2021-08-16 16:55:51 · 2320 阅读 · 0 评论 -
使用QWebEngine实现百度搜索栏自动输入及提交
1 为QWebEngineView(或者QWebEnginePage)设置urlweb_view->setUrl(QUrl("http://baidu.com"));或者web_view->page()->setUrl(QUrl("http://baidu.com"));其实view也是调用了QWebEnginePage的setUrl函数。运行后就会在QWebEngineView上显示百度页面。2 利用谷歌浏览器开发者工具找到搜索框和提交框元素两个元素有id,分别为原创 2021-08-15 11:23:02 · 662 阅读 · 0 评论 -
js中时间格式化的几种方法
项目中时间返回值,很过时候为毫秒值,我们需要转换成 能够看懂的时间的格式;例如:yyyy-MM-dd HH:mm:ss2.处理方法(处理方法有多种,可以传值到前端处理,也可以后台可以好之后再传递到页面)方法一:实体类中添加时间转换注解(注意时区问题) 1 2 3 4 5 /** * 开始时间 */ @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss", time...转载 2021-04-26 08:33:45 · 2065 阅读 · 0 评论 -
网站模拟登录总结
目录网站模拟登录总结一、环境二、简介三、模拟登录网站1、拉勾网模拟登录2、CSDN模拟登录3、微博模拟登录网站模拟登录总结一、环境window7系统python3语言pycharm工具二、简介由于需要爬取的网站大多需要先登录才能正常访问或者需要登录后...转载 2021-04-24 21:57:42 · 732 阅读 · 0 评论 -
HTTP返回GZIP内容的解压及中文显示
HTTP返回GZIP内容的解压及中文显示为节省流量,大部分的网页返回内容都会压缩后再传输,如果返回头包含Content-Encoding: gzip,那么必须 进行解压才能获取正确的返回值。下面基于QT实现解压网页返回内容,并转化为中文显示。QT里面已经集成了zlib,可以利用zlib里面的函数实现解压,使用时需要包含 zlib.h头文件。解压函数:QByteArray uncompressGZip(const QByteArray &data){ if (data.s...原创 2021-03-31 20:22:22 · 908 阅读 · 0 评论 -
HTTP Sec-Fetch-*请求头
如果你使用76+版本的chrome浏览器,通过开发者面板查看每个网络请求,会发现都有几个Sec-Fetch开头的请求头,例如访问百度首页https://www.baidu.com/的请求:Sec-Fetch-Dest: documentSec-Fetch-Mode: navigateSec-Fetch-Site: noneSec-Fetch-User: ?11234这是用来干嘛的呢,简单来说,就是网络请求的元数据描述,服务端根据这些补充数据进行细粒度的控制响应,换句话说,服务端可以精确判转载 2021-03-31 19:56:28 · 1845 阅读 · 0 评论 -
HTTP header中Access-Control-开头的响应头
Access-Control-Allow-CredentialsAccess-Control-Allow-Credentials响应报头指示的请求的响应是否可以暴露于该页面。当true值返回时它可以被暴露。Credentials可以是 cookies, authorization headers 或 TLS client certificates。当作为对预检请求的响应的一部分使用时,它指示是否可以使用凭证进行实际请求。请注意,简单的GET请求不是预检的,所以如果请求使用凭证的资源,如果此资源不原创 2021-03-31 19:13:47 · 4978 阅读 · 0 评论 -
HTTP 响应头信息
HTTP请求头提供了关于请求,响应或者其他的发送实体的信息。在本章节中我们将具体来介绍HTTP响应头信息。应答头 说明 Allow 服务器支持哪些请求方法(如GET、POST等)。 Content-Encoding 文档的编码(Encode)方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩,但只有Un转载 2021-03-31 18:44:09 · 64 阅读 · 0 评论