- 博客(3)
- 收藏
- 关注
RSS订阅原创 python 多线程队列 生产消费模式爬虫
在爬取大量数据时，由于有成千上万的数据，单线程爬虫显然不能满足我们的需求，这时候多线程爬虫就来了，本篇文章使用Threading和Queue简单介绍。首先先了解多线程队列，生产消费模式的大致步骤。1.主线程生成目标链接。2.主线程开启子线程访问队列并爬取数据保存。3.待队列目标为空时关闭线程。示例代码主要字段：city={ '河北省':['石家庄','保定市','秦皇岛','唐山市','邯郸市','邢台市','沧州市','承德市','廊坊市','衡水市','张家口'], '山西省
2020-10-31 10:54:01
690
原创 用python爬取课表并导入至ios日历
由于学校没有课表接口，不能使用超级课程表之类的课表软件，并且手上有块apple watch，便想将课表信息导入到日历中，每天就可以优雅的看到课程信息了。ok，本教程需要一定的爬虫基础，因为各个学校的教务网站不同，所以页面情况也不同，需要根据实际情况做出微调，这里就以我学校的教务网站为例。需要使用到的python模块seleniumrequestspandas1.首先使用selenium或者requests获取到课程表的页面，最好使用f12开发者工具获取到返回数据的真实链接，如：在headers
2020-10-27 19:45:14
2372
原创 python将数据导出为csv格式
1.导入python自带的csv库import csv2.创建文件对象f = open('taobao.csv', 'w', encoding='utf-8', newline="")添加newline是为了防止无故的空行3.创建csv对象csv_writer = csv.writer(f)接着就可以对文件使用.writerow方法进行写入了个人习惯先添加一行单独的表头，在做爬虫时比较方便csv_writer.writerow(["标题","购买人数","价格"])#可省略4.写
2020-08-10 12:52:16
11811
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人