qq_36807888的博客

原创 【无标题】推荐一个非常好用的GitHub插件

GitHub项目太多，弄不清文件结构？没关系，推荐一款非常好用的Github插件Gitako。Gitako 是一款支持 Gitee/GitHub 等网站的文件树浏览器插件，可用于 Chrome & Firefox & Edge 浏览器。下载安装1. 准备好Google Chrome浏览器下载好Gitako最新版。c站下载都要开通会员的哦搜索​https://crxdl.com/搜索Gitako并下载。2. 在Google Chr

原创 安装Mysql8遇到问题：net start mysql提示服务没有响应控制功能

MySQL8.0.21 ZIP发行版安装服务时报“服务没有响应控制功能”的错误G:\Python\mysql-8.0.27-winx64\bin>net start mysql8服务没有响应控制功能。请键入 NET HELPMSG 2186 以获得更多的帮助。尝试解决方法：访问https://cn.dll-files.com/vcruntime140_1.dll.html，下载VCRUNTIME140_1.DLL最新的版本：14.26.28804.1百度云链接：链接：...

原创 快速安装Jupyter Notebook主题皮肤并设置教程

Jupyter Notebook的默认背景主题是白色，字体还不符合自己的眼光，看着实在费眼…也不够酷炫。我就不多赘述了,现在就来给我们的Jupyter notebook画一下妆，让它变得更加炫酷吧。1、安装 Jupyter 主题通过命令行窗口或 Anaconda Prompt 窗口pipinstalljupyterthemes2、更新 Jupyter 主题 （可选）pipinstall--upgradejupyterthemes3、查看可用的 J...

原创 爬取疫情最新数据，绘制数据可视化地图，实时查看最新疫情数据

近日，各地疫情又出现严重反复的现象，目前新增新冠疫情仍处于多点散发、局部聚集的态势，面对这样的情况，疫情防控还要这样做！我们再从数据方面分析一下来看看全国疫情情况。获取的数据如下：地区、死亡人数、确诊人数、新增人数、治愈人数、当前确诊人数等绘制疫情可视化地图网站分析我们今天要爬取的网站是百度，这个网站每日实时更新最新疫情数据。如下：我们右键检查如下获取数据来源网址在response中我们可以看到我们要获取的数据就在其中。

原创 我和高中时喜欢的女孩子在一起了

现在大家的生活中，已经越来越离不开B站了，2020年的第一季度，B站月活跃用户达到了1.72亿，日活跃用户也已经突破了5000万个用户。而B站的弹幕区一直是人才圣地。今天我们就用户python来爬取B站排行榜热门视频弹幕'我和高中时喜欢的女孩子在一起了'看完视频只想说“好羡慕哦”！工作原理那么我们该如何获取此视频10000+弹幕呢？在B站中，只要视频中有弹幕，就会有一个 cid 参数。cid 用来表示某个视频对应的弹幕池。每个弹幕都有一个对应的 XML 文件，我们可以通过

原创 python分析销量10w+的车厘子，发现了一个秘密

又到了吃车厘子的季节。冬季，中国市面上的车厘子主要来自南半球的智利、新西兰和澳大利亚等地，其中中国更是智利最大的车厘子出口国，出国占比达百分之90以上。。远隔重洋、长途跋涉而来的车厘子的消费价格里包括了运输费用、冷藏费用等额外费用，自然冬季车厘子对于夏季的车厘子价格上要高出不少。另外，货以稀为贵，中国冬季水果相对于夏季稀缺，惹众人垂涎的车厘子价格自然水涨船高。但是这些因素丝毫不能影响中国吃货对车厘子的钟爱。2021车厘子销量暴涨32倍,中国吃货凭实力养活50万智利人今天我们那就来某东

原创 疫情又又又来了，看我爬取京东6000款口罩，来看看那一款最适合你

疫情期间个人防护有哪些需要注意的事项?专家提醒日常要继续保持良好的个人卫生防护习惯坚持防疫的“三件套”和“五还要”“三件套”：佩戴口罩、保持社交距离、注意个人卫生。“五还要”：口罩还要戴、社交距离还要留、咳嗽喷嚏还要遮、双手还要经常洗、窗户还要尽量开。这篇文章主要介绍了python selenium爬取京东6000多款口罩信息，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧.

原创 不服来试试，Excel中被吹上天的Ctrl＋E，到底有多厉害？

在接触电脑之后，我们很快便能掌握Ctrl+C复制、Ctrl+V粘贴这两大快捷操作，让办公效率轻松翻倍。但是，却很少人知道「Ctrl+E」键也是一个十分高效的存在。哪怕是今天，它仍被众多职场人士称为表格中使用最简单、功能最强大的快捷键，适用场景非常广。今天，就让我们通过这篇文章，来看看Ctrl+E的「高效快捷」体现在哪些场景吧~Ctrl+E是集数据提取、拆分、合并、替换、重组等功能于一体，把之前需要多个函数才能完成的功能使用一个快捷键轻松搞定。下面我们通过几个实际案

原创 秀,Pandas 一行代码爬取半个月天气预报~

谈及Pandas的read.xxx系列的函数，大家的第一反应会想到比较常用的pd.read_csv()和pd.read_excel()但是大多数人估计没用过pd.read_html()这个函数。虽然它低调，但功能非常强大，用于抓取Table表格型数据时，简直是个神器。是的，这个神器可以用来爬虫！定 义pd.read_html()这个函数功能强大，无需掌握正则表达式或者xpath等工具，短短的几行代码就可以轻松实现抓取Table表格型网页数据。原 理

原创 解决python3 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\U0001f608‘ in position。。。

原创 python生成excel文件的三种方式

在我们做平常工作中都会遇到操作excel，那么今天写一篇，如何通过python操作excel当然python操作excel的库有很多，比如pandas，xlwt/xlrd，openpyxl等，每个库都有不同的区别，具体的区别，大家一起来看看吧~xlwt/xlrdxlrd是对于Excel进行读取，xlrd 操作的是xls/xlxs格式的excelxlwt是对于Excel进行读取，xlwt操作的是xls格式的excel安装xlrd是python的第3方库，需要通过pip进行.

原创 用Python给代码安个进度条，太香了吧

相信大家对进度条一定不陌生了，比如在我们安装python库的时候可以看到下载的进度，此外在下载文件时也可以看到类似的进度条比如下图这种：小小进度条也是有大大梦想的~~用一个炫酷的进度条，来观察处理进度，也可以及时了解程序运行的情况，此外还可以用于显示时间，并告诉用户当前任务的执行进展。做到心中有数。今天和大家分享一个进度条可视化库，它的名字叫做tqdm，可以帮助我们监测程序运行的进度，用户只需要封装可迭代对象即可安装我们使用pip直接进行安装：pip...

原创 为什么说Jupyter Notebook是Python必学技术？一文带你吃透

jupyter notebook是一个基于网页的交互式笔记本，支持多种编程语言。之前被称为 ipython notebook。它的本质是一个web应用程序，便于演示和共享程序文档。支持实时编码、数学方程、可视化和markdown。可运行40+种编程语言。主要用途包括数据清理和转换、数值模拟、统计建模、机器学习等等。安装 Jupyter Notebook1.如果你安装了Anaconda，直接打开jupyter prompt。然后输入jupyternotebook这样.

原创 pandas库明明安装成功了，为什么总是导入错误？

最近有粉丝在Python交流群里问了一道关于pandas库安装的问题，明明把pandas库都顺利安装上了，但是不论怎么导入都是失败，真是奇怪，对于新手来说实在是太不友好了。这里小编针对该问题，做一个文章总结。首先我们看看使用pip install xxx 安装的第三方库位置在哪里？所有通过pip安装的python库位置在此python安装路径下的Lib\site-packages文件夹也就是说，只有安装的第三方库的位置在python安装路径下的Lib\sit.

原创 Python爬虫有哪些常见的反爬手段？

在抓取对方网站、APP 应用的相关数据时，经常会遇到一系列的方法阻止爬虫。网站APP们这么做的原因，一是为了保证服务的质量，降低服务器负载，二是为了保护数据不被获取。爬虫与反爬虫的斗争经久不衰，这里给大家总结出了我们在爬取数据时常见的反爬虫手段。1. User-Agent网络请求中，User-Agent 是表明身份的一种方式，网站可以通过User-Agent来判断用户是使用什么浏览器访问。不同浏览器的User-Agent是不一样的例如，我们在windows上面

原创 手把手教你安装Anaconda

Anaconda支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。其包含的科学包有：conda, numpy, scipy, ipython notebook等。Anaconda具有如下特点：开源安装过程简单高性能使用Python和R语言免费的社区支持其特

原创 Selenium爬取36万条数据告诉你：网易云音乐热评究竟有什么规律？

网易云音乐火不火我不知道，可是评论很火，之前也见过不少的帖子抓取网易云音乐评论，今天咱们也来试试这篇文章主要介绍了python selenium爬取网易云音乐热评，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧Selenium安装在此之前我们首先要准备好selenium的配置和安装，如下：selenium可以直接可以用pip安装。pipinstallseleniumchromedr..

原创 全国结婚率连续5年下降，这届年轻人，为什么不敢结婚？

昨天在看头条的时候发现，结婚登记人数已连续7年下降，去年创17年来新低我都惊呆了细看发现2020年，官方统计的结婚登记人数共计814.33万对，较2019年减少了113万对。这也是自2013年达到1346.93万对后，连续7年下降。2020年814.33万对的结婚登记人数，也创下了自2003年（国家统计局官网数据：811.4万对）以来，近17年中的新低。我们观察评论发现，大家对结婚率低这种现象都有自己的看法我们今天就用爬虫来获取这些评论数据，看看除了看到的这些

原创 精心整理自学python的宝藏网站，不看亏死

今天给大家分享几个自学python经常用到的网站，非常实用，建议收藏！中文版官方教程你可以从这里下载Python、使用、学习Python。官方文档自然是最权威的学习资料在这里，你能看到各种基础代码教程，还有上百种python库的使用方法，绝对权威！绝对详细！https://docs.python.org/zh-cn/3/tutorial/index.html菜鸟教程这个网站非常适合新手入门！从基础的语法开始，每篇文章都配有实例，而且实例选得很好简单明了

原创 知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？

最近刷抖音的时候看到了一个网上爆火的话题’既然所有的生命都要死亡，那么生命的意义是什么？‘2000万浏览，近8万个回答。结果下方的评论让我大感意外没有意义，只是为了活着....似乎所有人都很悲观、厌世所以今天我们就使用python爬虫来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？目标获取关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了，直接进入主题吧!直接创建scrapy项目创建完成结构如下：.

原创 Python时间模块四大必备知识点

Python的datetime模块可以帮助我们处理任何精度的时间相关的信息。在本文中，我们将详细介绍该模块中的4个对象，即date、time、datetime和timedelta。Date表示了以年、月和日为单位的日期。让我们通过几个例子来展示该如何使用它们。我们可以通过传递年、月、日这些信息，来创建存储日期的date对象。time模块time模块的时间表现方式有三种，分别是时间抽、时间字符串和时间元组。下面我们一一来看#时间戳ic(time.time(.

原创 冬天到了，用python给媳妇选一件有气质的大衣

这两天北方快要冷死了，我在网易严选上看中了一件大棉袄，值不值得买？我想用python来分析一波今天，我们就爬取网易严选某大衣品牌评论情况，来看看大家对于颜色、尺码都是怎么选的？目标获取我们此次的目标数据有六个，颜色、尺码、评论时间、会员等级、点赞量和评论内容最后通过数据可视化来直观的展示给选择困难症让你轻松做出选择~网页分析我们F12打开浏览器开发者模式，可以看到我们要获取的数据都在其中接下来我们找到网页请求链接来模拟浏览器

原创 用Python分析S11决赛EDGvsDK，教你怎么硬核吹EDG

兄弟们，我们是冠军，EDG是S11世界总冠军！世界上没有无法征服的高峰，只有永不退缩一往无前的骑士！真的，我赛前的心理预期非常低，我一直想的是EDG能赢一局就好，赢两局血赚，结果一路打到第五局的时候，我心理已经就一个词：冠军。整个比赛过程深受全网关注： 微博热搜第一名，显示有8194万观看； bilibili平台，吸引3.5亿人气，满屏弹幕； 腾讯视频600万人看过； 斗鱼和虎牙平台的热度也是居高不下； 赛后，央视新闻也发微博祝贺EDG战队夺

原创 最详细Python打包exe教程，并修改图标，只需30秒

大家好我是邓哥，之前给大家分享PDF转WORD教程中，大家比较关注的点都在如何将Python文件打包成可执行的exe文件。Python PDF文件转Word格式，3秒完美搞定！(附打包)今天就单独伶出来给大家讲一下：大家的问题我总结了有以下几个：1. 为什么要打包？2. 环境需求？3. 如何将Python文件打包成exe文件？4. 如何给exe文件生成自己心仪的图标？5. 如何减小exe文件的体积？为什么要打包？众所周知，Python脚本不能在没有

原创 Python爬取腾讯视频16978条弹幕，发现弹幕比剧还精彩

东北民间流传着关于“皇围猎人”的神秘传说他们世代生存于深山，为帝王守护兴安岭这片龙兴之地的气脉运转。传闻猎人除了精通狩猎之法，更知晓驱鬼通神之术。在东北一处偏僻的山村里，悄然发生一起灭门惨案，在村民们的恳求下，最后一代皇围猎人刘二爷决定出山调查真相，不想过程中怪事屡现，老林子里的秘密也被渐渐揭开.....咱打小就喜欢看这种片子，大兴安岭、东北马氏、神农架、盗墓笔记、鬼吹灯这种片子看得我是不亦乐乎。前一个月在抖音上看到这部片子预告的时候就已经迫不及待了，今天为了看片还专门开

原创 简单实用，Python代码调试利器~

简介尽管有那么多花里胡哨的debug工具和方式供我们选择，但不得不承认，在大多数情况下，print()才是最方便的代码调试方式通过手动在程序中的关键位置书写合适的打印语句，可以很快速地帮助我们了解到程序运行的过程，发现问题所在。而icecream就是一个将print大法发挥到极致的Python库，它的工作方式有些像vscode中针对javascript的插件Turbo Console Log使用print来调试代码，你会发现查看终端上的许多行输出，然后试图找出每个输出属于

原创 dict 和 set 的 8 个经典使用例子

1. 字典更新使用字典的时候需要给现有的字典插入数据使用update()方法#初始信息info_dict={'姓名':'张三','性别':'男','住址':'北京'}#添加信息info_dict.update({'学校':'清华','学号':'007'})'''{'姓名':'张三','性别':'男','住址':'北京','学校':'清华','学号':'007'}'''2.字典合并合并字典我们可以使用{**d1,**d2}...

原创 Python PDF文件转Word格式，只需要3秒(附打包)

PDF文档遵循一定的规范，例如精确定位了每个字符出现在页面上的坐标、根据坐标绘制的各种形状（线、矩形、曲线等）。所以，用PDF格式传输和打印文档可以保证格式的一致性，不会像Word那样因为渲染引擎的不同而出现格式错乱、多页少页等问题。Word文档则是一种流式布局，元素之间的相对距离决定了其呈现在页面上的最终位置。因此适合编辑内容，前文内容的修改自动促发后续文档布局的更新。PDF转Word是一个古老的话题，其难点在于建立从PDF基于元素位置的格式到Word基于内容的格式的映射。PDF文档实际并不存

原创 Jupyter Notebook的黑科技，你用过吗？

什么是jupyter notebook？jupyter notebook是一个基于网页的交互式笔记本，支持多种编程语言。之前被称为 ipython notebook。它的本质是一个web应用程序，便于演示和共享程序文档。支持实时编码、数学方程、可视化和markdown。可运行40+种编程语言。主要用途包括数据清理和转换、数值模拟、统计建模、机器学习等等。如何使用jupyter notebook1.如果你安装了Anaconda，直接打开jupyter prompt。然后输入

原创 list 和 tuple 的 11 个经典使用案例

大家好我是邓哥，今天给大家介绍list 和 tuple 的 11 个经典使用案例，一起来看看吧！1. 判断 list 内有无重复元素我们可以实现一个判断是否重复的is_duplicated方法，使用 list 封装的 count 方法，依次判断每个元素 x 在 list 内的出现次数。如果大于 1，则立即返回 True，表示有重复。如果完成遍历后，函数没返回，表明 list 内没有重复元素，返回 False。defis_duplicated(list):for...

原创 Python 拿来直接用的7个os读写文件的操作

在学习真实案例之前，我们先来了解一下Python文件操作的一些基本概念~~如何创建读取和写出的文件对象，open()方法来搞定他有两个参数，第一个就是读取的文件名称，第二个是可选的，指的是打开文件的模式，默认是读取文件。#读取文件对象fin=open('data.json')#写出文件对象fout=open('data.json','w')当我们获取到读取文件对象fin之后我们就可以读取文件内容了，这里介绍两种方式。#读取文件全部内容all_d...

原创 爬虫实战| python绘制全国鸿星尔克门店分布图，你的城市是最多的那个吗？

最近鸿星尔克频频上热搜今天我们就使用python爬虫看看全国到底有多少家鸿星尔克门店首先我们打开地图搜索 ‘鸿星尔克’F12打开浏览器开发者模式，找到如下链接。复制该链接到浏览器，发现这是一个json格式的数据集。我们所需要的省份和对应数量还有各个城市对应的数量都在其中。发送请求我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取各个城市鸿星尔克门店及其对应数量url='https://map.baidu.com/?ne..

原创 用Scrapy爬取分析了7万款Iphone12，结果万万没想到！

需求分析Iphone13出来了，但是Iphone12依然香啊！好不好，我们去网易严选看看便知~~所以我们今天的目标就是使用scrapy抓取网易严选Iphone12评论数据，看看到底值不值得入手！scrapy项目创建如下：网页分析找到网页真实请求连接，可以看到数据实际上存储在json格式数据集里面所以我们第一步必须先获取到这一整个json数据集。为了防止被网站防爬，我们还需在setting.py加上ua，如下：我们

原创 爬虫实战：英雄联盟手游能“干掉”王者荣耀？微博4.3亿网友吵翻了……

悄然之间，英雄联盟手游终究还是来了，而且还是在国庆刚过的第一天，倒还真的显示了官方的诚信经营。从开服开始，我的工作群、朋友圈基本天天都有人在喊着上线打两把，仿佛回到了《王者荣耀》刚流行的时候，午休必五排。而愿意喊我一起打LOL手游的，无外乎都是以前天天在电脑上打《英雄联盟》的那群好友。瞬间感觉爷青花回在开放下载之后，LOL手游在很短的时间内便登顶iOS免费App榜。现在只要打开App Store，就能看到各个页面推荐的都是LOL手游，毫无《王者荣耀》踪迹。

原创 Scrapy Python爬虫实战：抓取知乎问题下所有回答！

今天趁摸鱼的时候玩了会知乎，突然看到一个非常有意思的话题单身狗不知道还能干什么，所以特地把这些数据都抓下来，看看不除了第二杯半价还能干什么？创建scrapy项目前面教程概念讲的我嘴都麻了，估计大家看得也快烦死了，直接进入主题吧!项目创建完成结构如下：需求分析我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页评论点赞数和评论时间并将其保存做可视化分析网页分析

原创 以北京大黄瓜为例，手把手教你使用scrapy抓取数据并存入MongoDB！

第一次对scrapy做了简单的了解并且使用scrapy实战爬取了B站单页小姐姐视频信息。详情如下：Scrapy爬取B站小姐姐入门教程，结果万万没想到！第二次使用scrapy翻页爬取了糗事百科13页的段子信息Scrapy翻页爬取糗事百科所有段子后，我总结出的...目标获取今天我们使用scrapy爬取北京瓜果蔬菜单价并将其存入数据库MongoDB网站首页如下图：我们要获取的目标有瓜果蔬菜的名称、最低价、最高价、均价、产地还有价格发布时间等

原创 热搜第一！微信会员苹果180元、安卓130元？python爬虫看看网友们怎么说

微信仅支持迁移聊天记录到另一台设备以及备份聊天记录到电脑，如果设备丢失，未及时备份的数据将无法恢复。所以腾讯拟推出了个人微信云存储付费服务，意味着微信聊天记录可以实现云端备份和恢复。确定目标腾讯此业务可能采用按年付费的模式，苹果用户或在180元/年左右，安卓用户或在130元/年左右。想知道微博上62.8w+网友们是怎么说的吗？我们一起使用python爬虫获取网友们的用户id、用户名称、用户座右铭、发帖时间和发帖内容。

原创 Python 3秒自动帮你完成文件整理！

当我们遇到含有多种类型的文件时，会感觉非常的法索复杂，整理需要花费很多时间，也没有一个好的头绪。这也是我在日常办公之中遇到的比较常见的一个问题。所以今天我们就利用Python来实现自动整理文件。首先我们找来6个三种类型的文件。1. 在Python中，内置了os及其os.path模块用于对文件或者目录进行操作。所以我们第一步就要导入os模块。importos2. 我们将需要整理的文件类型放入到一个列表里面。#指定需要整理的文件类型file_types=['tx...

原创 租房哪里又便宜又好？python可视化爬虫告诉你！

毕业了，想在本地城市发展。租房就是我面临的头等大事，哪里房源多？哪里的房价最便宜？我要面朝南向的，我还要高层的。。。。没问题，爬虫搞定！首先我们打开链家租房首页，可以看到在租的房源有61363套，这么多的房源肯定有我心仪的那一套。我们想要获取的信息有房源的名称、房子的位置、房子的朝向、房子面积、房子布局、和最重要的一点就是房子的价格！1.首先我们来获取网页链接： https://xa.lianjia.com/zufang/pg1/https://xa.li

原创 Python绘制炫酷的西安地铁动图，你每天坐的是哪条线呢？

老板们，你们每天上班的代步工具是什么呢？我每天上下班要换乘三班地铁，今天上班摸鱼就想着绘制一下所在城市的地铁线路图，有兴趣的小老板们一起先来看看效果图吧！获取数据1.首先我们打开高德地图的地铁网页如下：http://map.amap.com/subway/index.html?&11002. 获取到的是一个json数据集，可以看到我们想要获取的数据就是每一个地铁站的坐标，也就是图中的sl标签下的数据。3. 我们先是用爬虫将所有的坐标打印出来