爬虫学习中
B&LUE
本人是一名在校大学生,学的是大数据专业,平时就想要把自己在写代码或者做其他事情的过程中出现的问题解决了并记录下来。
当完成一份代码之后希望有大佬来能够说出自己错误的地方!谢谢
展开
-
SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:1129)‘))
SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1129)'))原创 2022-06-18 11:18:19 · 1687 阅读 · 2 评论 -
初步实现协程爬虫(异步爬虫)
异步爬虫就是解决我们在 爬虫中当爬取大量数据时的时间效率问题请看下面的代码# _*_ coding:utf-8 _*_# coding = utf-8from gevent import monkey#下面这串代码是把程序变成一个协作式运行,就是可以帮助程序实现异步爬取数据,monkey.patch_all() #实现让IO阻塞。import geventimport requestsimport timestart_time = time.time()#自己找一些原创 2021-08-15 22:00:58 · 276 阅读 · 0 评论 -
使用selenium来自动登录下面网页 https://xiaoke.kaikeba.com/example/X-Man/
首先是你的运行环境和chromedriver在同一个地方,只有这样后,下面的代码你才可以运行如下图所示当然如果你的运行环境和游览器驱动不在统一地方,那么你可以在driver = webdriver.Chrome() 这个代码添加你的游览器驱动路径, 完成以上步骤后,下面直接上代码# _*_ coding:utf-8 _*_#coding = utf-8# 使用selenium来登录下面的网页# 本地chrome游览器设置方法, 这个地方必须是你的本地的运行环境..原创 2021-08-11 21:09:49 · 494 阅读 · 0 评论 -
使用session获取, cookie并使用它进行登录评论,以开课吧为例。
引入我们要使用的包# _*_ coding:utf-8 _*_# coding = utf-8import jsonimport requests.utils#改变输出端口import ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')接下来代码中开头没有封装成函数的都是全局变量,当然你也可以使用python中的类来进行修改,下面的代码是使用session来进行登录并获取原创 2021-08-11 18:02:16 · 834 阅读 · 1 评论 -
使用requests登录某个网站并且拿到小饼干,并且使用小饼干去做一些自己想要做的内容, 这里以评论为例
"""这里是在开课吧上使用request得到cookies,然后拿到首次评论成功的网址,之后使用代码下面的代码进行评论"""#_*_ coding:utf-8 _*_# coding = utf-8import requests#改变输出端口import ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')class kaikeba(object): de.原创 2021-08-10 18:50:17 · 114 阅读 · 0 评论