jarvis-Wu-CSDN博客

原创 python3.6以后字典有序

python3.6以后字典有序在Python 3.5（含）以前，字典是不能保证顺序的，键值对A先插入字典，键值对B后插入字典，但是当你打印字典的Keys列表时，你会发现B可能在A的前面。但是从Python 3.6开始，字典是变成有顺序的了。你先插入键值对A，后插入键值对B，那么当你打印Keys列表的时候，你就会发现B在A的后面。不仅如此，从Python 3.6开始，下面的三种遍历操作，效率要高于Python 3.5之前：for key in 字典for value in 字典.values()

2021-03-07 22:52:13 346

原创 django中遇到的bug

django中遇到的bugdjango-redis版本太低，升级到4.xxdjango.core.cache.backends.base.InvalidCacheBackendError: Could not find backend 'django_redis.cache.RedisCache': cannot import name 'get_cache'

2021-02-23 13:12:22 697

原创二进制，位运算(原码、反码、补码)

目录1 二进制2 原码、反码、补码3 位运算符4 位运算符使用技巧上回学习运算符时，漏了位运算符，因为位运算符理解起来稍微有点复杂，所以要单独写一篇~要理解按位运算符，要先了解计算机进行存储和计算的底层逻辑。因此我们从最基础的二进制说起。1 二进制只要学过计算机，就不可能不知道二进制。我们知道，十进制是逢十进一，譬如11，左边的1在十位上，代表10，右边的1在个位上，就是1。把1502这个数字拆开看，就是有1个1000，5个100，0个10，2个1， [外链图片转存失败,源站可能有防盗

2021-02-23 13:11:34 2564

原创安装redis时遇到的错误

安装redis时遇到的错误执行sudo make 出错 cc:not found原因：没有安装gcc解决办法：sudo apt install gcc安装gcc后再次执行sudo make 出现错误错误内容：fatal error: jemalloc/jemalloc.h: 没有那个文件或目录解决方法：执行make MALLOC=libc执行sudo make test 出错错误内容：You need tcl 8.5 or newer in order to run the Red

2021-02-23 13:10:12 145

原创 selenium

安装driver(淘宝镜像)chromedriver 需要对应的chrome版本提示权限不足，sudo chmod +x phantomjs基础属性和方法driver.page_source:网页源码driver.save_screenshot(“path”)：页面截屏driver.get_cookies() : 获取所有的cookiedriver.current_url ：当前的url地址定位元素的方法driver.find_element # 返回第一个元素，如果没有报错d

2021-02-23 13:09:09 65

原创 scrapy

scrapyscrapy的数据流程调取器——》request对象——》引擎——》下载中间件——》下载器下载器发送请求，获取响应——》response——》下载中间件——》引擎——》爬虫中间件——spiderspider提取数据——》引擎——》pipelinespider提取的url地址——》构造request对象——》爬虫中间件——》引擎——》调度器scrapy的使用流程创建项目 scrapy startproject 项目名创建爬虫：cd <project>s

2021-02-23 13:08:15 87

原创 1.Url编码和解码的使用urllib

1.Url编码和解码的使用urllib1.1 parse.urlencode() dict的编码from urllib import parsea = "上海"b = parse.urlencode({'wb': '上海'}) # dict 数据的编码c = parse.unquote(b) # dict数据解码print(c)print(b)123456781.2 parse.quote() 字符串的编码from urllib import parsea =

2021-02-23 13:06:46 120

原创多线程多进程爬虫

准备url地址的方法知道url地址的规律，知道一共多少页，准备url列表不知道url地址的规律或不知道总共有多少页，准备url_temp抓取下一页的url多线程爬虫threadingt1 = threading.Thread(target=func, args=(,))t1.setDaemon(True)ti.start() # 此时线程才会启动队列q.join() # 阻塞主线程，让主线程等待队列任务结束之后再结束，队列任务会在计数为0时结束q.task_done() 和

2021-02-23 13:05:06 79

原创爬虫基础

三元运算符if 条件成立，if前面的结果赋值给to，否则else后面的内容赋值给toto = 'en' if lan=='zh' else 'zh'requests进行携带cookie登录cookie字符串放在headers中把cookie字典交给requests请求方法的cookies字典推导式{i:i+10 for i in range(10) if i%2==0}寻找登录接口的方法form表单action对应的url地址用户名和密码的input标签中，name的值作为键

2021-02-23 13:04:19 57

原创数据提取方法

html和xml的区别html（超文本标记语言），用来显示数据xml（可扩展标记语言），用来传输和存储数据xpath语法// 的用途//a当前html页面上的所有的abookstore//bookbookstore下的所有book元素@的使用//a/@herf所有a的hreftext()的使用//a/text()获取所有的a下的文本text()的使用//a/text()获取所有的a下的文本//a[text()=下一页]获取文本为下一页的a标签

2021-02-23 13:02:44 500 1

原创 mongodb

mongodb的简单操作mongodb的安装与启动链接： https://my.oschina.net/u/2417992/blog/3053325mongodb中数据库和集合的命令数据库不需要提前创建，插入数据时自动创建show dbs 查看所有的数据库use 数据库名 # 使用数据库数据库名.dropDatabase() # 删除数据库集合不需要提前创建，插入数据时自动创建show collections # 查看所有集合db.集合名.drop() # 删除集合

2020-11-17 16:20:42 138

原创 python中while xxx 和 while xxx is not None的区别

python中while xxx 和 while xxx is not None的区别while xxx(以一个列表为例) 当xxx为None、False、空字符串、0、空列表、空字典、空元组时，xxx为False，反之xxx为Truelst1 = []lst2 = [1,2,3]while lst1: print(lst1)while lst2: print(lst2.pop(), end=' ')输出结果为：3 2 1lst1并没有输出while xxx i

2020-10-30 15:06:59 1672

原创剑指offer 04.二维数组中的查找 python实现

剑指offer 04.二维数组中的查找题目描述在一个 n * m 的二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。示例矩阵[ [1, 4, 7, 11, 15], [2, 5, 8, 12, 19], [3, 6, 9, 16, 22], [10, 13, 14, 17, 24], [18, 21, 23, 26, 30]]

2020-10-26 23:59:57 122

no_found的博客