爬虫
蓝之赟
这个作者很懒,什么都没留下…
展开
-
python爬虫获取以及使用cookie
python爬虫获取以及使用cookie首先获取cookie:@logger.catch()def get_cookie(): cookie_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome / 53.0.2785.143Safari / 537.36', 'Connection': 'ke原创 2021-03-12 09:48:32 · 310 阅读 · 0 评论 -
C#JToken获取key值
JProperty jProperty = token.ToObject<JProperty>();string id = jProperty.Name; //获取key值原创 2020-12-22 08:38:20 · 7312 阅读 · 0 评论 -
python request添加cookies
try: logger.debug('执行try') # response = requests.get(url) cookies = dict(_ga="***", __q**="****",_gid="***", update_time="***", ****="*******") ss...原创 2020-03-31 11:29:59 · 1244 阅读 · 0 评论 -
pyqt5--Qthread解决窗口未响应问题
本文主要介绍Qthread的使用方法,用来解决python后台爬数据时窗口未响应问题。使用这样的结构可以实现后台爬数据的同时实时UI显示,克服假死问题,代码主要参考了文章:Qt——线程类QThread,网上看了很多文章,这一篇是起到最大作用的,最条理清楚的,这里我结合我自己的代码,做个自己的记录我的程序是给一个url来提取数据格式化显示的,界面如下:一、数据获取及处理代码...原创 2020-03-25 23:33:03 · 4538 阅读 · 0 评论 -
python+selenium爬取网站并截图 屏蔽网站根据window.navigator.webdriver检测模拟浏览器
# -*- encoding:utf-8 -*-import osimport tracebackfrom selenium import webdriverfrom selenium.webdriver import ChromeOptionsimport timefrom threading import Threadfrom config import *from log...原创 2019-10-18 23:37:16 · 721 阅读 · 0 评论 -
C#写爬虫及解析Json数据
之前一直用python写爬虫,因工作需要使用C#,记录一下,得到Json数据写过爬虫的应该都知道public string GetResponse(string Url) { string ResponseData = string.Empty; try { HttpWe...原创 2019-09-26 16:51:19 · 800 阅读 · 0 评论