![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 77
python爬虫学习
bats421
这个作者很懒,什么都没留下…
展开
-
python 爬取GitHub项目watch数目问题
python GitHub项目watch数目爬取不到问题问题:想要爬取一个GitHub项目的watch,star,fork数目,star和fork均能爬取到,但是watch数目始终查找不到问题代码如下:from bs4 import BeautifulSoupimport requestsheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like原创 2021-03-13 17:32:59 · 214 阅读 · 0 评论 -
python初学者爬虫教程(五)提升爬虫的速度
python初学者爬虫教程(五)提升爬虫的速度并发,并行,同步,异步多线程爬虫单线程例子python中的多线程函数式类包装式并发,并行,同步,异步并发指在一个时间段内发生若干事件的情况,各个任务时间段短,经常切换,所以感觉是“同时”进行。并行值在同一时刻发生若干事件的情况,真正的同时同步,各个任务不是独自运行的,任务之间有交替顺序,运行完一个任务后才运行另一个。异步,各个任务独立运行多线程爬虫多线程爬虫是以并发方式执行。即通过进程的快速切换来加快爬虫速度。单线程例子通过原创 2021-02-24 11:25:48 · 904 阅读 · 0 评论 -
python初学者爬虫教程(四)数据存储
python初学者爬虫教程(四)数据存储数据存储至TXT将数据存储至CSV读文件写文件数据存储至MangoDB数据存储至TXT存储方法具体可以参考这篇文章将数据存储至CSV读文件import csvwith open('test.csv', 'r') as csvfile: csvreader = csv.reader(csvfile) for row in csvreader: print(row) print(row[0])可见,cs原创 2021-01-25 12:12:50 · 237 阅读 · 0 评论 -
python 初学者爬虫教程(三)解析网页
python 初学者爬虫教程(三)解析网页正则表达式re.match()re.searchre.findallgroup与groups的区别使用beautifulsoup解析安装简单使用——获取博客标题基础遍历文档树搜索文档树CSS选择器介绍三种方法从网页中提取数据:正则表达式,beautifulsoup,lxml正则表达式有关正则表达式知识,可以看正则表达式 知识总结与实例re.match()import relines = "Fat cats are smarter than dogs,原创 2021-01-21 15:37:46 · 295 阅读 · 0 评论 -
UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\u2022‘ in position 11: illegal multibyte se
python爬虫报错 UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’ in position 11: illegal multibyte sequence在使用fo.write(text + '\n')将爬取结果写入文本文件时报错。对要写入的文本加入这行代码.encode('GBK','ignore').decode('GBk')即可先用gbk编码,忽略掉非法字符,然后再译码...原创 2020-11-27 10:34:26 · 452 阅读 · 0 评论 -
python初学者爬虫教程(二)动态网页抓取
python(二)动态网页抓取解析真实地址抓取参考链接,包括例子的网站如果使用 AJAX 加载的动态网页,有两种方法爬取:通过浏览器审查元素解析地址通过selenium模拟浏览器抓取解析真实地址抓取例子为参考链接中提供的网址,该链接该网站的评论是用JavaScript动态加载的,虽然数据并没有出现在网页源代码中,我们也可以找到数据的真实地址。见下F12...原创 2020-11-09 11:16:22 · 5841 阅读 · 17 评论 -
driver.implicitly_wait()与time.sleep()的区别
driver.implicitly_wait()与time.sleep()的区别显示等待与隐式等待的区别implicitly_wait(5)属于隐式等待,5秒钟内只要找到了元素就开始执行,5秒钟后未找到,就超时;time.sleep(5)表示必须等待5秒定位;转载 2020-10-19 11:03:11 · 1709 阅读 · 0 评论 -
python初学者爬虫教程(一)静态网页抓取
静态网页抓取安装Requests获取相应内容定制Requests安装Requests使用pip或者conda均可pip install requestsconda install requests获取相应内容import requestsr= requests.get("https://www.baidu.com")print("文本编码:",r.encoding)print("响应状态码:",r.status_code)print("服务器相应内容:",r.text)结果:原创 2020-10-12 10:36:57 · 347 阅读 · 0 评论