![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 59
SLASH_W1
在努力学习python的路上摸爬滚打
人生苦短,我用python
展开
-
Python抓取含中文网页乱码解决
该网站是一个诗词名句网站,网页打开之后是既含中文也含英文,但是爬取结果只能显示英文,中文会出现乱码。网页本身爬取结果乱码修正后代码import requestsfrom bs4 import BeautifulSoup# 对首页页面进行抓取headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome原创 2022-01-06 21:04:51 · 1037 阅读 · 2 评论 -
爬虫_bs4
数据解析原理:标签定位;提取标签、标签属性中存储的数据值。bs4进行数据解析的原理:实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中;通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取环境安装:BeautifulSoup存在于bs4这个模块中,所以要先安装bs4,同理安装lxml是一个解析器如何实例化BeautifulSoup对象:(1)from bs4 import BeautifulSoup(2)对象实例化:将本地.原创 2022-01-04 23:13:25 · 707 阅读 · 0 评论 -
聚焦爬虫__糗事百科图片抓取__分页
把糗事百科页面翻到最底部可以看到一共有13页,现在打开第2,3页,看到上面的网址会变为https://www.qiushibaike.com/8hr/page/2/和https://www.qiushibaike.com/8hr/page/3/,改变的只有页码,所以就可以在指定url时,设置一个通用的url模板。爬取结果:代码:import requestsimport reimport os# 创建一个文件夹,保存所有图片if not os.path.exists('./qiutulib原创 2021-12-30 22:14:51 · 423 阅读 · 0 评论 -
聚焦爬虫__糗事百科图片抓取
要想使用聚焦爬虫,就先通过通用爬虫将整张页面爬取下来。数据解析原理概述:解析的局部文本内容都会在标签之间或标签对应的属性当中进行存储;进行指定标签的定位;标签或标签对应属性所存储的数据进行提取;基于聚焦爬虫的编码流程:指定url;发送请求;获取响应数据;数据解析;持久化存储图片是一个二进制数据,有对应的url去标识...原创 2021-12-30 21:18:46 · 438 阅读 · 0 评论 -
国家要监督管理总局信息爬取
爬取药监局的企业详情数据的第一页及分页设置药监管总局官网点击每一个企业都会跳转页面,进入到该企业的详细数据页,以第一个为例我们要爬取的就是每个企业的详细数据,就需要找到官网页面的url和每家企业的详情页url之间的关系。打开官网页面的开发者模式,可以看到发送的是post请求,json格式数据,并且url携带多个参数,需要进行参数封装打开响应数据response可以看到响应数据的json格式,现在需要将这些响应数据复制到在线JSON校验格式化中进行校验,对其进行分析,发现每家企业都对应唯原创 2021-12-23 23:14:49 · 1808 阅读 · 3 评论 -
豆瓣电影详情数据爬取
这次的爬虫我们来看url携带多个参数的页面爬取打开豆瓣电影排行榜官网,这里我选择了喜剧类型,发现只要将鼠标下滚翻到该页面最底部,滚轮就会重新跳到中间,相当于浏览器又发送了请求,重新加载一个页面,对应打开该网页的开发者模式,可以看到是get请求,并且携带多个参数,所以需要继续声明一个字典对其进行封装。import requestsimport jsonget_url='https://movie.douban.com/j/chart/top_list'#原来的URL是https://movi原创 2021-12-23 12:03:16 · 2097 阅读 · 0 评论 -
入门级爬虫
近期学了一些爬虫小程序,懒得手写,写篇博客记录自己的收获首先来写爬虫的大概步骤指定url发送请求获取响应数据持久化存储基础版爬虫# 写爬虫之前要先配置环境,需要安装发送请求包requestsimport requestsurl="https://www.taobao.com/"# 打开开发者模式,可以看到浏览器发送的是get请求,此时调用requests中的get方法发送请求,请求成功之后才会出现响应数据,这里用response去接收response=requests.get(ur原创 2021-12-23 10:46:48 · 532 阅读 · 0 评论 -
百度翻译结果爬取
加强版爬虫在百度翻译搜索框中输入关键字,得到响应页面的局部文本数据,即关键字翻译结果。要实现这样的功能本来是需要解析数据才可以得到,现在我们换一种方法,首先分析百度翻译的页面,每搜索一个关键字就进行一次局部刷新,实现页面局部刷新,就要用到AJAX请求。输入的关键字是python,打开对应网页的开发者模式,先找到1选项卡XHR,然后找到3框数据包查看,发现是post请求,服务器端响应回客户端的数据类型是json格式,并且该请求携带参数,对应2可查看携带参数是否为python,那么它就是我们要找的AJAX数原创 2021-12-23 10:43:45 · 584 阅读 · 0 评论 -
爬虫视频总结
从爬取淘宝保存为csv文件这个案例来讲。迫于B站视频上传C站审核不通过,只能直接上文字版链接了。基础版写爬虫:https://www.bilibili.com/video/BV1CW411C7ZM?spm_id_from=333.999.0.0进阶版面向对象写爬虫:https://www.bilibili.com/video/BV1VW411y7Cd?from=search&seid=2911900904516132152&spm_id_from=333.337.0.01、 IDE(集原创 2021-12-21 17:39:51 · 436 阅读 · 0 评论 -
大数据基础与应用
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、初识大数据与Python语言1.1大数据的定义1.2.大数据的应用场景1.2.大数据分析流程二、Python大数据基础2.1数据类型2.2数据结构2.3Python数据结构与数据存储2.1数据类型2.读入数据九、大数据应用案例前言提示:这里可以添加本文要记录的大概内原创 2021-08-11 22:24:27 · 1712 阅读 · 0 评论 -
基于人工智能的盲人阅读器
本文在原码基础上做出很多修改,很感谢博主提供项目开发基础,有读者如果想看原文请点击原文链接:https://blog.csdn.net/aqqwvfbukn/article/details/106349903.文章目录引言编写目的背景一、软件概述(一)名称(二)简介二、运行环境(一)系统版本(二)运行内存(三)Python版本(四)接口外部接口内部接口三、整体设计(一)音乐播放模式流程图展示:开发流程说明:(二)人机交互模式流程图展示:开发流程说明:(三)书籍阅读模式流程图展示:开发流程说明:(四)新闻播原创 2021-04-14 12:31:02 · 2481 阅读 · 1 评论 -
推荐系统安装surprise库出错
毕业设计做有关推荐系统遇到安装库问题,经过查找,找到解决办法,帮到自己,分享到这里希望也能帮助别人。1、cmd中直接pip3 install surprise出错2、报错(图片用的其他作者的,但是我的报错和这个一样):3、原因:surprise需要microsoft Visual C++ 14.0编译,所以需要安装microsoft Visual C++ 14.04、下载链接: https://pan.baidu.com/s/1_L4Hb-EFM6ksG8ZxD–WmQ.密码: 5o985、默原创 2021-04-12 09:43:25 · 731 阅读 · 1 评论 -
百度API接口+图灵机器人=语音助手
百度API接口+图灵机器人=语音助手制作流程技术百度API准备图灵机器人注册功能环境准备导入模块完整代码运行结果制作过程的问题及解决办法参考链接制作流程技术Python人工智能语音识别爬虫GUI界面设计百度API准备去官网申请一个百度API,可以参考链接: https://blog.csdn.net/weixin_38753698/article/details/103142965?utm_source=app&app_version=4.5.2.图灵机器人注册注册图灵机转载 2021-03-09 09:50:31 · 3872 阅读 · 0 评论 -
2021-02-08
项目场景:利用pyttsx3读取文本文件内容出现编码问题问题描述:UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 10: illeg原因分析:gbk编码问题解决方案:way1:第1行没有设置# _*_ coding:utf-8 _*_way2:处理数据时没有转码,需要在open函数里面加上encoding=‘UTF-8’,例如:原始代码:with open("read.txt", "r") as f原创 2021-02-08 14:20:30 · 1136 阅读 · 0 评论 -
python写语音识别时遇到的一个小bug
初学python者,在用python写语音识别时发现python中input()和raw_input的区别,下面是源码:from aip import AipSpeechfrom pydub import AudioSegmentimport time#input your own APP_ID/API_KEY/SECRET_KEYAPP_ID = '你的id'API_KEY = '你的apikey'SECRET_KEY = '你的secretkey'str = raw_inp原创 2021-02-03 23:25:29 · 295 阅读 · 0 评论