s_crawler的博客

原创 2021-04-07

忽略https时显示报错解决import urllib3urllib3.disable_warnings()response = requests.get(url=url, headers=headers, cookies=cookies, verify=False)

原创 2020-11-26

猿人学第一届Web端爬虫攻防大赛js逆向六道题参考地址：https://github.com/crawlerwolf/jslearn/tree/master/yuanrenxue

原创 node js中AES使用

var CryptoJS = require("crypto-js");var key= CryptoJS.enc.Utf8.parse("ASDFGH1234567895"), iv = CryptoJS.enc.Utf8.parse("0123456789ABCDEF");function encrypt(text) { var a = CryptoJS.AES.encrypt(text, key, { iv: iv, mode: CryptoJS.

原创 mysql 、redis 、jdk 、tomcat、fasfdfs集群和单机、rabbitmq部署安装文档

mysql 、redis 、jdk 、tomcat、fasfdfs集群和单机、rabbitmq部署安装文档下载地址：

原创 centos6.8上FastDFS集群 安装 配置

安装系统和安装包系统系统 centos6.8三台服务器：192.168.1.2/3/4安装包：fastdfs-5.05.tar.gzfastdfs-nginx-module.ziplibfastcommon-1.0.7.tar.gznginx-1.10.1.tar.gz服务器规划：tracker服务器：192.168.1.2 storage服务器：192.1...

原创 python非算数数据类型

原创 谷歌插件下载安装和js脚本安装

插件下载地址：https://www.crx4chrome.com/category/extensions/developer-tools/Greasy Fork一个提供用户脚本的网站：https://greasyfork.org/zh-CN/油猴插件：https://www.crx4chrome.com/crx/755/...

原创 python中的函数

函数作为参数日志处理计算访问前四个ip用map进行拆分再reduce统计将def warg(arg) func(arg) 修改为def warg(*args, **kwargs) func(*args, **kwargs)...

原创 django简易常见流程

创建项目常见apps,extra_apps,static,media文件夹分别代表APP接口文件夹，第三方文件夹，静态文件文件夹，用户上传文件文件夹修改setting文件导入sys包添加apps和extra_apps路径sys.path.insert(0, os.path.join(BASE_DIR, "apps"))sys.path.insert(0, os.pa...

原创 django项目所需基础目录文件

1. templates 文件夹（放置html文件）2. 和项目相同名字的 文件夹包含下面三个文件 settings.py django的全局配置 urls.py url配置入口 wsgi.py 与服务器交互的文件（一般不需要修改）3.manage.py 启动django的文件4. 创建apps文件价（放置常见的app） 使用startap...

转载 排序

原创 python实现二分查找和四种变形

# -*- coding: utf-8 -*-def binary_search_rec(search_list, item): """二分查找, 递归""" lens = len(search_list) if lens > 0: mid = lens // 2 if search_list[mid] == item: ...

原创 python实现常见的算法排序

# -*- coding: utf-8 -*-import randomdef bubble_sort(sort_list): """冒泡排序""" lens = len(sort_list) for j in range(lens-1): change_times = 0 for i in range(lens-1-j): ...

原创 python实现简单队列

# -*- coding: utf-8 -*-class Queue(object): """队列""" def __init__(self): self.__queue = [] def enqueue(self, item): """往队列中添加一个item元素""" # 队列中添加频繁 self...

原创 数据结构(时间复杂度)

原创 python实现简单双端队列

# -*- coding: utf-8 -*-class Deque(object): """双端队列""" def __init__(self): self.__queue = [] def add(self, item): """往队列头部添加一个item元素""" self.__queue.append(ite...

原创 python实现简单栈

# -*- coding: utf-8 -*-class Stack(object): """栈""" def __init__(self): self.__list = [] def push(self, item): """添加一个新元素item到站定""" self.__list.append(item) ...

原创 python实现简单双向链表

# -*- coding: utf-8 -*-class Node(object): def __init__(self, data): self.pre = None self.data = data self.next = Noneclass DoubleLinkList(object): def __init__...

原创 python实现简单单向循环链表

# -*- coding: utf-8 -*-class Node(object): """节点""" def __init__(self, data): self.data = data self.next = Noneclass SingleCycleLinkList(object): """单向循环链表""" de...

原创 python实现简单单链表

# -*- coding: utf-8 -*-class Node(object): """节点""" def __init__(self, data): # 数据区 self.data = data # 下一个节点区 self.next = Noneclass SingleLinkList(object...

原创 centos(linux) 安装VMware和VMware的注册

1.下载安装官网下载linux版本的VMware注册码VM15版本:FF35R-DLX13-48DRZ-66M5V-XQ294VY5DH-D0GE0-0814Z-AXZGT-Y3UA6AV102-05Y9H-M89MQ-5ZN79-MZHR4VM14版本:VF19H-8YY5L-48DQY-JEWNG-YPKF6VF3W2-AZF91-480VP-Z5YZZ-Q...

原创 session保存和清除cookies

try: import cookielibexcept: impot http.cookiejar as cookielibsession = requests.session()session.cookies = cookielib.LWPCookieJar(filename='cookies.txt')try: session.cookies.l...

原创 单元测试、反射和注解

原创 编码

原创 抽象类和方法

原创 super与this

superthissuper与this

原创 数组工具类常见操作

原创 static

原创 String

比较方法

原创 Random基本使用

原创 匿名对象

匿名对象作为方法的参数

原创 Scanner实现键盘输入

原创 selenium解决iframe中的元素不能选取

browser.switch_to(browser.find_element_by_tag_name("iframe")执行完上一句后在执行需要选取的目标

原创 chrome浏览器无界面启动和不加载图片以及下拉

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionschrome_options = Options()# 设置headless模式chrome_options.add_argument("--headless")chrome_options.add_argument("...

原创 类classmethod、staticmethod、property

静态方法是不可以访问实例变量或类变量的类方法和普通方法的区别是， 类方法只能访问类变量，不能访问实例变量属性方法将一个方法变为类的属性，调用时不需要加()。有@property 、@属性方法名.setter、@属性方法名.deleter 三种装饰方法...

原创 Java三元表达式与switch

原创 concurrent.futures中ThreadPoolExecutor使用

# -*- coding: utf-8 -*-import timefrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, as_completeddef sleep_task(sleep_time): print('sleep time:{} s'.format(sleep_time))...

原创 scrapy中spider自定义settings

在scrapy的spiders文件夹下的__init__文件中的类Spider的类方法update_settingsspider类变量cusom_settings用于覆盖默认的settings的值在自定义的spider中重载类变量cusom_settings即可。cusom_settings = {}...

原创 Java标准类

原创 Java构造方法