python爬虫
使用Python进行爬取一些数据
努力奋斗的小三水
这个作者很懒,什么都没留下…
展开
-
python爬虫入门之requests
r.status_code#检测状态码,为200,可以正常访问,访问成功r.text这个代码用于交互式的IDLE中requests常用的几个主要方法:1,requests.request()构建一个请求,支撑一下2,requests.get()获取网页的主要方式,对应HTTP中的GET3,requests.head()获取开头信息的主要方式,对应HTTP中的HEAD4,requests.post()向HTML网页提交POST请求的方法,对应于HTTP中的POST。原创 2023-06-03 18:36:45 · 1584 阅读 · 0 评论 -
使用requests获取58同城北京二手房信息
在写代码期间个人遇见的问题,在未登录的状态的时候,使用requests去获取其中的html结构会有部分内容看不见,所以建议先登个陆。在其中如果出现了一些提醒GBK问题,我这里的解决方法是将编辑器的编码从UTF-8改为GBK,这样就解决这个报错问题。使用requests库,pyquery库获取58同城北京二手房信息导入到csv文件当中。反复访问多的话,平台会进行验证,这个在代码当中还没有写入,所以需要自己手动解决。原创 2022-11-26 20:47:37 · 455 阅读 · 0 评论 -
使用python批量爬取豆瓣书单图片
使用我们的遍历来获取属性值为.title-content-title这个的标签。# 使用with open 进行保存代码到我们的本地文件。#这一行是用来查看我们的状态码的,200是可以正常运行的。# 获取img标签的属性值src。#使用我们requests当中的get方法。# os模块判断并创建。#让我们全文的文本编码等于我们头部的。#将我们的r.text赋值给demo。# 设置文件夹的名字。#引入我们的requests库。#引入我们的pyquery库。原创 2022-10-20 20:29:16 · 284 阅读 · 0 评论 -
使用requests库和pyquery库去获取百度热搜并将内容【索引,文本,链接】导入到文件
这个i:/作业.txt是我电脑上的地址,如果没有分盘i盘的话是需要进行更改一下的,要不会发生报错。#使用我们的遍历来获取属性值为.title-content-title这个的标签。f.write(v) # 写入我们热点的内容。f.write(q) #写入我们热点的链接。#这一行是用来查看我们的状态码的,200是可以正常运行的。#让我们全文的文本编码等于我们头部的。#将我们的r.text赋值给demo。# span标签里面的内容。#引入我们的requests库。#引入我们的pyquery库。原创 2022-09-22 11:29:14 · 324 阅读 · 0 评论 -
使用python爬取网络图片
使用我们的with open方法向我们的文件当中写入。#使用requests库当中的get方法去获取。#将我们的保存路径放在我们的path当中。#引入我们的requests库。#我们获取的链接放在url当中。原创 2022-09-22 12:40:58 · 197 阅读 · 0 评论