王鹏信-CSDN博客

原创关于 mysql 的锁

关于 mysql 的锁全局锁全局锁主要用于数据库的备份表级锁表锁元数据锁（meta data lock MDL）行锁行锁是数据库引擎 innoDB 提供的锁，这就是 myisam 为什么快被弃用的重要原因```

2022-01-09 11:41:38 449

原创 python 中的 dict set tuple list array

字典集合元祖列表数组字典和集合是进行过性能高度优化的数据结构，特别是对于查找、添加和删除操作dict 详解在python3.7中字典被确定为有序字典的创建d1 = {'name': 'jason', 'age': 20, 'gender': 'male'}d2 = dict({'name': 'jason', 'age': 20, 'gender': 'male'})d3 = dict([('name', 'jason'), ('age', 20), ('gender',

2020-07-13 22:25:55 266

原创 selenium下拉框拉到最底部的判断

每次下拉浏览器界面的document.body.scrollHeight参数都会发生变化，selenium拉到最底部时该参数将不会改变，以此来判断是否到了最底部，方法如下：def pulldown(): t = True i = 1 while t: check_height = browser.execute_script("return documen...

2019-06-14 11:19:36 5670 1

原创用户画像之IP批量解析

用户画像之IP批量解析最近需要从公司的日志数据中抽取用户的ip地址对用户进行地域分析，一开始的思路是循环遍历IP请求淘宝提供的接口（apiurl = “http://ip.taobao.com/service/getIpInfo.php?ip=%s” %ip），但是因为数据量太大（几十万个ip），请求太频繁，会出现请求失败的情况。经过在网上查找资料，发现了python 有一个很强大的IP解析库...

2019-01-12 16:59:18 1324

原创 python 对user_agent进行解析

python 对user_agent进行解析最近对公司网站的日志数据进行数据分析的时候需要对用户的user_agent进行处理，于是从网上大概了解了关于python解析user_agent的方法，并作了简单记录安装工具库pip install pyyaml ua-parser user-agents示例from user_agents import parseua_string...

2018-12-13 19:53:05 4199 2

原创 python之利用requests库爬取西刺代理，并检验IP的活性

用爬虫爬取某个网站的数据时，如果用一个IP频繁的向该网站请求大量数据，那么你的ip就可能会被该网站拉入黑名单，导致你不能访问该网站，这个时候就需要用到IP动态代理，即让爬虫爬取一定数据后更换IP来继续爬取。这个时候就需要代理IP池，当然，人民币玩家可以直接购买专业的IP代理服务，但是像我这种不想花钱的玩家，就只能通过爬取免费的代理网站上能用的IP来勉强维持生活。现在我...

2018-09-07 20:28:08 3099 4

原创 flask框架中的flask_session插件的基本使用

flask框架中的flask_session插件的基本使用项目拆分后：1、首先安装插件：pip install flask_session2、在extensions(扩展类中进行扩展)3、在config类中进行注册：(写app.config配置)SESSION_TYPE = 'redis'SESSION_PERMANENT = TrueSESSION_USE_SIGN...

2018-08-30 17:59:45 638

原创 Django框架自带数据库的删除和重建的正确方法和问题的解决

今天因为需要为一个Django中已经存在的model类添加元数据，所以直接在db.sqlite3中删除了该model类的映射表，但是在重新迁移的时候出现了问题：（出现了如下情况）（后文有Django中删除和重建数据库中关于models类的映射数据库表的正确方法）查看了网上其他博客后：大多建议删除 django_migrations表并删除migration目录下的0001_ini...

2018-08-07 18:01:19 21326 8

follow_sunshine的博客