python数据抓取
沈伟-测试前行者
软件测试从业人员,目前正在测试路上前行
写的很多东西有点乱,大家凑合着看吧
展开
-
Python中报错:return self.attrs[key] KeyError: 0解决办法
它里面没有 author 这个key我给个示例:修改后:原创 2020-05-15 04:09:40 · 9524 阅读 · 0 评论 -
中文报错SyntaxError: Non-UTF-8 code starting with \xe6 in file
pycharm加注释报错SyntaxError: Non-UTF-8 code starting with '\xe6' in file处理代码最上面加上编码格式#coding:utf-8原创 2020-05-15 03:59:02 · 1801 阅读 · 0 评论 -
TypeError: can only concatenate str (not “list”) to str(列表和字符串的报错解决方法)
部分源代码:报错:TypeError: can only concatenate str (not “list”) to str类型错误:只能连接str(不是“列表”)到strdebug操作:str()类型转换原创 2020-05-15 03:56:05 · 46799 阅读 · 5 评论 -
Python prettytable模块:将输出内容如表格方式整齐
from prettytable import PrettyTable x = PrettyTable(["City name", "Area", "Population", "Annual Rainfall"]) x.align["City name"] = "l"# Left align city namesx.padding_width = 1# One spac转载 2016-12-22 00:17:24 · 11336 阅读 · 0 评论 -
使用 Python 如何生成 200 个激活码(或者优惠券)
使用 Python 如何生成 200 个激活码(或者优惠券)import string, random #激活码中的字符和数字 field = string.letters + string.digits #获得四个字母和数字的随机组合 def getRandom(): return "".join(random.sample(field,4)) #转载 2016-12-07 12:25:44 · 3379 阅读 · 0 评论 -
python批量图片处理
#!/usr/bin/python#coding:utf-8from PIL import Imageimport os#源目录mypath = 'C:/Users/Eric/Desktop/python_text/20161215/test_Image/'#保存图片目录outpath = 'C:/Users/Eric/Desktop/python_text/20161215/out转载 2016-12-16 10:11:29 · 4360 阅读 · 0 评论 -
python图片尺寸多种处理方式
# coding=utf-8import Imageimport shutilimport osclass Graphics: infile = 'D:\\myimg.jpg' outfile = 'D:\\adjust_img.jpg' @classmethod def fixed_size(cls, width, height):转载 2016-12-16 10:33:21 · 1618 阅读 · 0 评论 -
docopt——好用的Python命令行参数解释器
介绍docopt 本质上是在 Python 中引入了一种针对命令行参数的形式语言,在代码的最开头使用 """ 文档注释的形式写出符合要求的文档,就会自动生成对应的parse,体验非常赞。用法样例docopt的使用非常简单,以Qingchat为例,你只需要在代码最开头加入:"""Qingchat CLIUsage: qingchat config转载 2016-12-22 16:21:35 · 3162 阅读 · 0 评论 -
【房价网房价信息爬虫】整站40万条房价数据并行抓取,可更换抓取城市
写在前面学习数据采集,先转载下来,之后在学习这次的爬虫是关于房价信息的抓取,目的在于练习10万以上的数据处理及整站式抓取。数据量的提升最直观的感觉便是对函数逻辑要求的提高,针对Python的特性,谨慎的选择数据结构。以往小数据量的抓取,即使函数逻辑部分重复,I/O请求频率密集,循环套嵌过深,也不过是1~2s的差别,而随着数据规模的提高,这1~2s的差别就有可能扩展成为1~2转载 2017-01-12 09:28:57 · 733 阅读 · 0 评论 -
Python-第三方库requests详解
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦!Beautiful is b...转载 2017-03-09 15:34:14 · 1415 阅读 · 0 评论 -
EncodeError: 'latin-1' codec can't encode characters in position 69-70: ordinal not in range(
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 69-70: ordinal not in range(256)解决办法使用python3.X向数据库插入中文数据的时候,提示:大概步骤是:anjuke_area = (513, '平阴', 'http://jinan.anjuke.com原创 2017-03-29 13:25:36 · 14737 阅读 · 4 评论 -
python抓取安居客上的所有地区链接
#coding:utf-8from bs4 import BeautifulSoupfrom urllib.request import urlopenimport reimport timeimport pymysql#前提条件# 1.电脑装有python3,pymysql,BeautifulSoup,request# 2.连接的数据创建一个表名,里面有数原创 2017-05-15 16:36:03 · 565 阅读 · 0 评论