PYTHON
文章平均质量分 54
做一个安静的小爬虫
用活着的生命去做点什么
展开
-
selenium被反爬后的几个方案,主要针对window.navigator.webdriver特征被检测
https://www.cnblogs.com/superhin 这个人的博客给了我启发。1. 使用开发者模式chrome_option = webdriver.ChromeOptions()chrome_option.add_experimental_option('excludeSwitches', ['enable-automation'])webdriver = webdriver.Chrome(options=chrome_option)使用开发者模式简单快捷,但是缺点也很明显,仅仅在原创 2020-05-18 17:37:52 · 4555 阅读 · 2 评论 -
python使用cassandra-python连接时候出现的问题:cassandra.cluster.NoHostAvailable
cassandra-python的使用方法就不介绍了我的情况是在python3远程连接cassandra时候报了这个错(如果你是python2项目完全可以用它自带的cql,那个很稳定)cassandra.cluster.NoHostAvailable: (‘Unable to connect to any servers’,----------试过很多方法都不好用,最后在Cluster的h...原创 2019-10-10 17:10:18 · 1517 阅读 · 1 评论 -
新手学习——用django搭建个人博客_day3
一 模板继承二 静态文件的配置和使用三 给用户展示博客首页原创 2019-09-29 12:59:01 · 234 阅读 · 0 评论 -
新手学习——用django搭建个人博客_day2
1.模型设计2.创建超级用户3.配置使用mysql原创 2019-09-25 11:25:16 · 287 阅读 · 0 评论 -
requests请求返回内容 中文乱码问题
1.为什么有时候request会出现请求的内容中文乱码以国家统计局的[http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2016/]为例,开发者模式打开可以看到 Conten-Type没有指定默认的编码。 而requests使用get请求时候,response默认使用iso-8859-1编码对消息体进行编码,传送数据给客户端。(大部分网页是有指定...原创 2019-05-13 12:14:13 · 28713 阅读 · 3 评论 -
python3 下 url解码
在url中出现中文字符时候,一般都是编码为utf-8格式的百分号编码的,但是也有部分网站encode成gbk编码格式。utf-8格式: 1个中文字符编码为3个字节的百分号编码格式;(python3 urllib.parse 默认编码是utf-8)gbk格式: 1个中文字符编码为2个字节的百分号编码格式。from urllib.parse import unquote,...原创 2019-05-21 12:07:10 · 330 阅读 · 0 评论 -
(python 【print中文字符串编码问题】 " 'ascii' codec can't encode characters in position......."
python 【print中文字符串编码问题】 " 'ascii' codec can't encode characters in position......." python 查询当前环境下默认字符编码1.当前文件的编码格式2. 当前系统使用的默认编码3. 标准输出默认编码 针对print()时候报的ascii错python 查询当前环境下默认字符编码在python中,操作中文字符...原创 2019-05-07 16:49:03 · 3448 阅读 · 0 评论 -
python 关于Decimal 保留小数点后尾数的另一种方法
最常用的是利用decimal包的getcontext().prec = d(d为要保留的小数点后位数),在这我们使用另一种最原始简单的方法:直接代码示例from decimal import Decimala = Decimal("2.1564637457")print("%2.f" % a)打印结果》》》2.16 注意:这里是有四舍五...原创 2017-09-18 17:09:58 · 6468 阅读 · 0 评论 -
关于python3 中yield的笔记(__next__ 以及 send)
重点理解以下几点:1. 在生成带有yield的 (下面的函数h())generator后 第一个迭代必须是__next__()。2. __next__() 和 send(None)的效果是相同的3. 带有yield 的生成器中,yield有两个作用—存储和给next和send触发yield之间的代码动作(具体看代码吧);next和 send的作用其实就是一个动作指令,这个指令的具体...原创 2018-08-28 23:55:20 · 3270 阅读 · 0 评论 -
关于python3 手动下载安装第三方包(公司内网命令行一直超时 修改超时时间也不好用)
所有的都是手动下载,由于要安装的包可能依赖于其他包,所有需要自己一层一层向上下载依赖的包,比较麻烦。https://pypi.org/simple/对于whl的文件直接命令行easy_install 包名(用easy-install 是因为它在安装时候如果有依赖的包会有下载链接提示,这样就可以手动地一层一层向上下载到依赖的包)例如下图:要安装aiomysql它需要前置安装PyMySQL,同...原创 2018-08-30 10:20:11 · 943 阅读 · 0 评论