![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
今天要来电代码吗
What does not kill me, makes me stronger.
展开
-
爬虫不走vpn代理解决方法
【代码】爬虫不走vpn代理解决方法。原创 2023-09-06 10:34:00 · 1477 阅读 · 0 评论 -
基于百度aip实现语音合成
基于百度aip实现语音合成首先爬取这个网站段子网站来爬取一些文本段子然后按照baidu语音合成的提示进行操作from aip import AipSpeechimport requestsfrom lxml import etree#获取段子url = 'http://www.kw-design.net/djpx/116606.htm'headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl原创 2021-05-04 19:29:33 · 381 阅读 · 0 评论 -
爬虫
初识爬虫: 利用requests模块来编写第一个简易爬虫:import requests#要爬取的网页的链接url = 'https://www.sogou.com'#response来接受得到的网页的内容response = requests.get(url = url)#将内容转换成文本page_text = response.text#永久储存with open('D:\test.html', 'w', encoding = 'utf-8') as f: f.原创 2021-04-28 20:56:16 · 1094 阅读 · 1 评论 -
爬取豆瓣top250电影
爬取豆瓣top250电影import requestsimport reimport bs4def open_url(url): kv = {'user-agent' : 'Mozilla/5.0'} res = requests.get(url, headers = kv) return resdef find_movies(res): soup = bs4.BeautifulSoup(res.text, 'html.parse原创 2021-03-17 15:45:01 · 278 阅读 · 1 评论 -
关于中国大学mooc嵩天老师课程中定向爬取淘宝产品信息
关于中国大学mooc嵩天老师课程中定向爬取淘宝产品信息python小白最近看老师课程,发现淘宝网页升级了,用以前的代码爬不了,查找了很多资料后发现了一些缺陷,在此分享给大家老师的代码大体上没问题,就是需要加一个headers这里我们可以用https://curl.trillworks.com/#这个来获取headers首先来到书包首页,按F12,然后按照图示步骤操纵复制完cURL(bash)后点击这个链接:https://curl.trillworks.com/#,然后把内容复制到左边窗口,在原创 2021-03-10 22:52:07 · 617 阅读 · 1 评论 -
中国大学mooc中爬取最好大学2020排名实例
最近看了北京理工大学嵩天老师关于爬取最好大学软科排名实例,由于视频比较久远,网页发生了很大的变化,所以我写一下我的思路,希望帮助大家排名链接:https://www.shanghairanking.cn/rankings/bcur/2020我们打开网页,查看页面源代码发现确实变化了很多,学校名称加上了超链接,所以学校的名字在a标签里,就提取学校名称需要改变import requestsfrom bs4 import BeautifulSoupimport bs4#先获得页面的html文本de原创 2021-03-09 21:14:46 · 555 阅读 · 5 评论 -
python中关于BeautifulSoup的运用
爬取下面这个网页,并把它的html输出http://python123.io/ws/demo.htmlimport requestsfrom bs4 import BeautifulSoupr = requests.get("http://python123.io/ws/demo.html")demo = r.textsoup.BeautifulSoup(demo, "html.parser")print(soup.prettify())然后就是这个样子的输出形式...原创 2021-03-07 20:07:18 · 131 阅读 · 2 评论 -
针对爬取豆瓣top250电影失败的问题
一开始的代码是import requestsurl = "https://movie.douban.com/top250"r = requests.get(url)r.status_code显示的是418,这爬取失败;200才是爬取成功这里我们先看一下我们的headersr.request.headers显示如下:{'User-Agent': 'python-requests/2.25.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '原创 2021-03-06 17:07:35 · 2152 阅读 · 0 评论 -
python爬虫
Requests库的7种方法方法说明requests.request()构造一个请求,支持以下各方法的基础方法requests.get()获取HTML网页的主要方法,对应于HTTP的GETrequests.head()获取HTML网页头部信息的方法,对应于HTTP的HEADrequests.post()向HTML网页提交POST请求的方法,对应于HTTP的POSTrequest.put()向HTNL网页提交PUT请求的方法,对应于HTTP的PUT原创 2021-03-06 16:21:35 · 312 阅读 · 0 评论 -
python中关于包的书写和作用
python中关于包的书写和作用包就是把模块分门别类的放在不同的文件夹,然后把各个文件夹的位置告诉python创建一个包的具体操作如下:(一) 创建一个文件夹用于存放相关的模块,文件夹的名字就是包的名字(二)在文件夹中创建一个__init__.py的模块文件 (注意这里是左右两边分别是两个下划线_)(三) 将相关的模块放入文件夹中...原创 2021-03-04 20:22:41 · 111 阅读 · 1 评论 -
python异常处理
python异常处理FileNotFoundError:未找到指定文件AssertionError:断言语句错误,使用assert关键字后面的条件为假时抛出这个错误AttributeError:尝试访问未知的对象属性IndexError:索引超出序列的范围KeyError:字典中查找一个不存在的关键字NameError:尝试访问一个不存在的变量OSError:操作系统产生的异常SyntaxError:python的语法错误TypeError:不同类型间的无效操作1+"1" 会抛出Ty原创 2021-02-21 10:22:14 · 98 阅读 · 2 评论