- 博客(22)
- 收藏
- 关注
原创 aioscpy - 基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步协程爬虫框架
aioscpy新协程爬虫框架, 基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步爬虫框架Aioscpy框架基于开源项目Scrapy & scrapy_redis。Aioscpy是一个快速的高级web爬行和web抓取框架,用于抓取网站并从其页面提取结构化数据。实现了动态变量注入和异步协程功能。分布式爬行和抓取......
2022-06-08 11:17:12 631
原创 伪装请求头伪装useragent比fake-useragent库好用的伪装请求头库: anti-useragent
最为友好简单易用的伪装浏览器头推荐anti-useragent用法和fake-useragent 的用法一致, 不存在网络请求, 所有头都是随机生成打出以下资料来源于github 链接地址: anti-useragent特性more browser up to datemore randomize rulergrabs up to date useragent from useragentstring.com安装pip install anti-useragent基本用法from a
2021-09-29 16:24:16 3174
转载 Docker的安装配置及使用详解
基本概念Docker 包括三个基本概念镜像(Image)容器(Container)仓库(Repository)先理解了这三个概念,就理解了 Docker 的整个生命周期。1、docker安装与启动yum install -y epel-releaseyum instal...
2018-05-22 17:55:15 317
原创 deepin 15.5 安装 docker
首先,通过以下方法安装的docker版本一般太老,不建议使用。sudo apt-get updatesudo apt-get install docker.io这样安装完后 版本为: Docker version 1.13.1, build 092cba3以下是安装docker方法:curl -sSL https://get.docker.com/ | sh 改用docker自己的仓库cur...
2018-05-22 12:34:50 1531
原创 Ubuntu 18.04 安装Mysql 8.0
链接在此下载链接打开链接后应该是这个界面, 点击紫色字体,选择No thanks, just start my downloadsudo dpkg -i mysql-apt-config_0.8.6-1_all.deb# 安装成功后, 提示选择版本, ubuntu18.04 默认安装8.0 所以这里选择 8.0 点击 oksudo apt-get updatesudo apt-get...
2018-05-22 10:28:11 5324
原创 Ubuntu 16.04 最新自定制美化方案推荐
Ubuntu 有许多的定制方法, 我这里推荐一个mac 的主题及美化方案, 美化后不满意随时可以来嘲讽我ubuntu 是一个可自定义化较强的linux系统,如果你喜欢的话可以尽情的定制属于自己的系统1、下载 macbuntu 壁纸:http://www.linuxidc.com/Linux/2016-06/131945.htm 或者 使用微软的必应壁纸也可以取代2、安装 MacBunt...
2018-05-15 23:48:24 1990
原创 常见的http状态码
常见的http状态码100:继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。101: 转换协议 在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。102:继续处理 由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。200:请求成功 处理方...
2018-04-28 14:58:44 1108
原创 简单总结几种思维模式---助你编程,思绪如飞
矩阵思维: 什么是矩阵思维,我们可以简单理解为一个思维工具就把它类比成汉字“田”, 主要指把复杂的想法或事物放到四块矩形里。通常能够做到让看似混乱的、凭感觉的猜测,一下变得清晰 比如,如果公司发现员工工作不好,对其指责或罚款其实都是不可理解的,因为这很难让他们变好。同样使用矩阵思维,我们会发现,工作不好一般有两种情况,“不想干好”和“能力不行”。放进矩阵,我们得出四个象限:一、想干好、能力也不错二...
2018-03-18 17:15:41 2544
原创 ubuntu 16.04 清理内存空间的方法总结
查看清理空间 1.du –h /var/cache/apt/archives 那我们就来删除这些软件包吧。若你生性小心谨慎,那就只删除那些你已经将其卸载掉的软件的软件。删除你已经卸载掉的软件包的命令为 sudo apt-get autoclean 若你想清理出更多的空间,而且网速又比较快的话,那你大可以把电脑上存储的安装包全部卸载咯,命令为 sudo apt-get clean 还有一类软件包...
2018-03-04 14:29:29 26042 1
原创 面向对象(基础篇)
面向过程: 根据需求逻辑,自上而下编写代码函数: 将所需要的功能封装到函数中,需要使用时调用函数面向对象: 将含有功能模块的函数块封住到类中创建类和对象:面向对象编程是一种编程方式,这种方式的使用需要用到 “类” 和 “对象” 来实现,所以,面向对象编程其实就是对 “类” 和 “对象” 的使用。设计类: 类名,属性,行为类名: 女盆友属性: 姓名,性别,年龄,.
2018-02-05 21:45:56 961
原创 python 装饰器详解
引入装饰器的思想:如果我们想为某一个功能添加一个新的功能,如何在不改变他的原来的函数名的情况下实现呢?我们可能会这样:1.直接在原来的函数里头添加功能模块 --- 代码量太大逐一添加不太现实2.再写一个新的函数,在原来的函数里分别调用 --- 如果原来的函数在多处调用,且太过分散,工程量太大3.定义一个新的函数:def cover(): newFunc()
2018-01-21 14:26:26 913
原创 手机号码,邮箱,身份证号码简单正则表达式匹配
手机号码的正则表达式import repattern = "^1[3-8]\d{9}$"str = "13667865555"res = re.findall(pattern,str)print(res)邮箱的正则表达式--随意邮箱pattern = "^[a-z0-9][a-z0-9_]+@[a-z0-9_]+\.[a-z0-9_]+"str = "2345sdsa
2018-01-13 18:02:29 1355
原创 异常处理和自定义异常
###########异常处理############# 异常处理: 当程序遇到问题(异常)不结束程序(崩溃),而越过该错误继续执行格式1: try:可能出现异常的代码except 异常类型 as e:处理格式2: try:可能出现异常的代码except 异常类型 as e:处理finally: #无论程序是否出现异常,始终会执行该代码块代
2018-01-13 17:56:03 885
原创 python 正则表达式
正则表达式:######## 匹配单个字符与数字 ########.表示可以匹配任意一个字符,除了换行符以外[234] 表示的是2或者3或者4[abcd] 表示的a或者b或者c或者d[a-z] 表示任意一个小写字母[0-9] 表示任意一个数字[a-zA-Z] 表示匹配任意一个字母[a-zA-Z0-9_] 表示匹配任意一个字母,数字,下划线[^34
2018-01-13 14:22:24 905
原创 递归,队列,栈遍历目录
递归 遍历目录思路:1. 定义函数,参数值为需要遍历的路径2. 运用内置函数listdir ,将获取到的路径拆分成列表3. 循环遍历列表4. 拼接路径,用于判断是否是目录还是文件5. 如果是目录: 递归调用自己6. 如果是文件: 打印7. 找到函数出口: 如果目录不存在,则returndef getDir(sourcePath): if not
2018-01-10 21:52:08 953
原创 os模块pickle模块和字符串的一些内置函数
import osos.curdir 返回当前目录的路径os.getcwd() 获取当前路径os.listdir()获取目录下所有的文件名和目录名,将所有的目录和文件封装成列表os.mkdir() 创建一个目录,如果目录存在会报异常,如果该新目录的父级目录不存在会报异常os.makedirs() 如果该新目录的父级目录不存在会一同创建os.rename()修改目录和文件
2018-01-09 20:48:35 816
原创 简单编写的文件复制模块python脚本
小文件复制:sourceFileName = input("请输入你要复制的文件名:")index = sourceFileName.rfind(".") # 除用字符串的内置函数外,还可以使用条件语句判断copyFileName = sourceFileName[:index]+ "-副本"+sourceFileName[index:]readFile = open(sourceFi
2018-01-07 16:50:00 1271
原创 字典(dict),元组(tuple),集合(set),列表(list)知识点补充
字典:查: 字典是无序的,不能用索引来获取值,通过key来获取value,如果key不存在,会报异常1.直接通过key来查找格式: 字典名[key]例:name_value = dict1["name"]print(name_value)2.使用get方式好处: 当key不存在时,可以设置默认值参数,或者不设置返回None例:name_valu
2018-01-07 11:37:20 862
原创 时间戳,时间元组,字符串三者的转换
1.时间戳------->时间元组:time1 = time.time()tuple = time.gmtime(time1) # UTC时间print(tuple)tuple1 = time.localtime(time1) # UTC + 8 时间print(tuple1)2.时间元组-------->时间戳:tuple2 = time.localtime()time2
2018-01-06 13:10:25 5653 4
原创 简单的几种给定一个数判断是否是质数的方法
给定一个整数n,判断是否是质数(质数是只能被1和它自身整除的数)第一种:运用数学函数import mathnum = int(input("输入一个数值:"))if num > 1: sqare_num = math.floor(num**0.5) for i in range(2,num): if(num%i and num%(i+1)) ==
2018-01-05 19:25:48 12894 1
原创 函数的基本概述
函数: 格式:def 函数名(形式参数1,形式参数2,...):语句块return 表达式(结果)调用 函数名(实际参数1,实际参数2,...) 语句块:就是需要重复使用的代码 调用格式:函数名(参数1,参数2,..) 1.函数名是需要调用的函数的函数名(名字必须一致) 2.函数名后跟(),()中放置需要传递给定义函数的参数(实际
2018-01-04 13:46:24 761 1
原创 字典(dict),列表(list),元组(tuple),集合(*set)的基本概述
一.dict 字典 格式:{key1:value1,key2:value2,key3:value3,...} 特点:无序的不可重复的,key(唯一的)不可变类型,字典本身是可变类 创建:dict = {} # 创建一个空字典dict= {"aaa":"bbb","ccc":"ddd"} # 创建多个元素的字典 遍历:1.直接遍历dict = {"
2018-01-03 21:49:16 929 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人