- 博客(32)
- 收藏
- 关注
RSS订阅原创 Frida 重启失败问题（Unable to start: Could not listen on address 127.0.0.1, port 27042: Error binding to a）
Unable to start: Could not listen on address 127.0.0.1, port 27042: Error binding to address 127.0.0.1:27042: Address already in use
2021-12-17 14:59:23
7346
1
原创 docker容器获取宿主机ip地址
import paramikos = paramiko.SSHClient()s.load_system_host_keys()# 密码列表list1 = ['521999']for password in list1: try: s.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # ...
2020-03-02 14:25:50
10904
2
原创 selenium+headless模式webdriver=true修改
self.browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', {webdriver:undefined}); """ ...
2020-03-02 14:21:48
1737
3
原创 测试学习系列-------selenium
因为本人现在所做的工作是Python爬虫，并且所有的框架就是selenium，所以对selenium的了解就先不在博客上写出，日后有时间在补充。
2020-03-02 14:10:03
153
原创 selenium禁止加载图片（headless无头模式，有界面模式通用）
self.options.add_argument('blink-settings=imagesEnabled=false')无头模式测试截图有界面截图
2020-02-21 16:52:15
2305
原创 Chrome+selenium+headless报错无法加载插件
selenium+headless加载插件代码self.options.add_argument('--headless')# 加载插件self.options.add_extension(r"G:\插件\SwitchyOmega_Chromium.crx") 报错selenium.common.exceptions.WebDriverException: Message...
2020-02-19 10:15:43
2066
1
原创 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
该错是由于文件连续读了两遍即两个fp.read()导致的
2019-12-30 17:49:44
485
2
原创 mitmproxy中间人-强大的抓包及修改工具
import mitmproxy.httpclass QH(object): def request(self, flow: mitmproxy.http.HTTPFlow): # 发出请求之前做的操作 if 'xxx' in flow.request.url: # flow.request.url请求的url ...
2019-11-14 15:40:15
1661
原创 多线程爬虫
记得前几个月刚毕业面试由于一直依赖框架，有一次面试让我写多线程爬虫竟然没写出来，后悔不已，今天突然想起来，并且刚好打开博客，便记录一个利用futures线程池库的多线程爬虫，技术有限，不足请评论指出。import timefrom queue import Queuefrom concurrent.futures import ThreadPoolExecutor, as_complet...
2019-11-14 15:23:55
210
原创 Xposed-----Hook神器
最近在搞Android app逆向，需要对函数进行Hook以便了解到函数的输入与输出，由于自己刚刚接触xposed所以记录一下学习经验，有错误或者不妥之处请告诉我，大家共同进步。使用Android Studio创建一个Android项目。项目目录 在AndroidManifest.xml中写入 <application android:allowBack...
2019-11-14 14:44:43
669
原创 写入文件是正常显示中文，不显示ASCII
with open('Totonto Sun.json', 'a+',encoding="utf-8") as f: json.dump(result,f,ensure_ascii=False)ensure_ascii=False输出真正的中文需要指定ensure_ascii=False不指定时默认为ASCII...
2019-08-27 16:05:42
384
原创 生成十三位时间戳
# /PycharmProjects/carspider# -*- coding: utf-8 -*-# @Time : 18-12-17 下午2:25# @Author : hqian# @File : 13位时间戳.py# @Software: PyCharmimport timeimport sysreload(sys)sys.setdefaultenco...
2019-05-17 17:58:13
1459
原创 爬虫521错误
请求网页返回521错误很大概率是一种js反爬.这种网站正常网页打开通过抓包工具可以观察到室友两次请求的,第一次返回一段js代码,第二次才是正常的结果,所以我们需要把第一次返回的js执行出来,比如网站:http://www.cbrc.gov.cn/chinese/newListDoc/111005/1.html就是一个返回521的典型网站通过观察js可以用python进行...
2019-05-17 17:49:34
3172
原创 xpath获取块元素下<br>下的所有信息
目标网址:https://www.sec.gov/cgi-bin/browse-edgar?action=getcurrent如图所示需要取到黄色部分源码如果使用//text()并不能取到br下面的内容all_time_list_1 = response.etree.xpath('//div[starts-with(@style,"margin-left")]//table...
2019-05-13 17:47:25
3134
原创 MongoDB基本操作
# /PycharmProjects/carspider# -*- coding: utf-8 -*-# @Time : 19-2-15 下午4:52# @Author : hqian# @File : 本地mongodb练习.py# @Software: PyCharmimport sysimport pymongoreload(sys)sys.setdefau...
2019-03-08 10:34:04
181
转载 pyspider捕获各种状态码(设置其它状态码也不报错,正常执行回调.)
def on_start(self): self.crawl('http://httpbin.org/status/404', self.callback) @catch_status_code_error def callback(self, response): 通常来说只有状态码为200才是正常并执行回调,这个参数可以设置其它状态码也不报错,正常执行回调.这个实例遇...
2018-11-27 10:06:55
826
原创 pandas 操作mongdb excel
# -*- encoding: utf-8 -*-import pymongoimport pandas as pd# 链接mongdbclient = pymongo.MongoClient('localhost', 27017)# 数据库名字db = client['research']# 表名pk10 = db['highway_name']# 从excel中读数...
2018-11-21 13:48:26
234
原创 抽取email的正则表达式
([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$
2018-11-19 10:09:32
598
原创 身份证号正则表达式
([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$
2018-11-19 10:08:48
242
原创 IP地址正则表达式
(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)
2018-11-19 10:07:40
174
原创 生成日期(2018-11-19)
from datetime import date, timedeltaprint (date.today() + timedelta(days = -1)).strftime("%Y-%m-%d")print (date.today() + timedelta(days = 0)).strftime("%Y-%m-%d") 输出 2018-11-18 ...
2018-11-19 10:06:10
325
原创 爬取奥迪官网
from pyspider.libs.base_handler import *from lxml import etreeimport refrom datetime import datetimeimport randomimport pymongodb = client['research']col = db['car_information']col.create_in...
2018-09-30 14:49:37
335
原创 Cookie带时间戳
#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2018-08-28 10:33:19# Project: HMfrom pyspider.libs.base_handler import *import jsonfrom time import timedef get_headers(): retur...
2018-08-28 21:11:49
1569
原创 User_agent池
user_agent = [ 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_0) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4', 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_0; en-U...
2018-08-28 21:09:10
866
原创 Pyspider 错误（Exception: HTTP 599）
Exception: HTTP 599: Failed to connect to 127.0.0.1 port 25555: Connection refused这个错误 十有八九是 phantomjs 挂了，重新启动一下phantomjs即可解决
2018-08-28 21:04:23
3153
转载 supervisor安装
supervisor就是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启 Ubantu： sudo apt-get install supervisorapt-get/yum安装的会自动生成 /etc/init.d/supervisord 和 /etc/supervisord.conf...
2018-08-28 21:02:16
343
转载 Ubuntu安装PhantomJS
sudo apt-get install phantomjssudo apt-get install nodejssudo apt-get install nodejs-legacysudo apt-get install npmsudo npm -g install phantomjs-prebuilt完成后输入phantomjs --version若显示当前版本号，则 ...
2018-08-28 20:13:49
529
原创 Ubuntu16.04下pyspider安装
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml-dev libxslt1-dev python-lxmlsudo apt-get install aptitudesudo aptitude install libpq-devsudo apt-g...
2018-08-10 10:50:23
356
转载 类的继承
class AddressBookEntry(object) version = 0.1 def __init__(self,name,phone): self.name = name self.phone = phone def update_phone(self,phone): self.phone = phone ...
2018-06-04 20:46:19
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人