Python进阶者-CSDN博客

原创如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）

前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇（理论篇），今天给大家分享一下代码实现（实战篇），接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期，因此在这里定义好日期和动态两个属性，如下图所示。 2、修改实现爬虫逻辑的主文件moment.py，首先要导入模块，尤其是要主要将item...

2018-05-12 23:40:04 16373 31

原创哪位大佬帮助解释下红框这里为什么需要下标？

下次点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤言入黄花川，每逐清溪水。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Pandas数据处理的问题，问题如下：哪位大佬帮助解释下红框这里为什么需要下标。只有一个值，后面那个绿框里面的括号用了转义字符，不是要取的值。二、实现过程这里【瑜亮老师...

2024-09-14 09:01:28 531

转载 Python打包完成后报错，如何解决？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个Python打包处理数据的问题，问题如下：打包完成后报错：发生错误:Missing optional dependency 'openpyxl'.Use pip or ...

2024-09-12 09:01:53 119

原创需求是统计excel表格每个sheet的行数，请问还有更快捷的方法么?

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题，问题如下：importpandasaspdimportpolarsasplimporttimestart_time=t...

2024-09-07 09:02:34 857

原创请问还有其他方法处理Pandas偶然出现的第三列的值么

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题，问题如下：通过python处理cvs文件，cvs默认是两列，但是因为系统导出的原因，第三列可能也有数值，导致df = pd.read_csv(...

2024-09-06 09:02:10 958

原创想问一下Pycharm中这五个解释器有啥区别吗

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愿君多采撷，此物最相思。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【平庸】问了一个Python环境处理的问题，问题如下：大佬们我想问一下下图Pycharm中这五个有啥区别吗？二、实现过程后来【瑜亮老师】给了一些解答如下：virtualenv和pipenv适合...

2024-09-05 14:13:20 1276

原创安装modin后读取excel表格提示如下报错，应该怎么解决呢？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强白银交流群【wen】问了一个Python库安装报错的问题，问题如下：import modin.pandas as pddf = pd.read_excel('D:\input\数据.xlsx',s...

2024-09-04 09:00:58 742

原创这个Python网络爬虫代码怎么解决乱码？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤舳舻争利涉，来往接风潮。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【此类生物】问了一个Python乱码的问题，问题如下：这个代码怎么解决乱码？二、实现过程这里【瑜亮老师】给了一个指导：删掉headers中的这一行"accept-encoding": "g...

2024-09-03 10:02:30 686

原创盘点一个Pandas数据处理问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个pandas数据处理的问题。问题如下：请教个问题，df['区划编码'] = df['区划编码'].replace(f"420113000000", "'420113...

2024-08-31 10:03:58 974

原创怎么用xpath写drissionpage？或者用相对位置？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤挂席东南望，青山水国遥。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python网络爬虫处理的问题。问题如下：有没有大佬指点下怎么用xpath写drissionpage？或者用相对位置？我看了半天中文文档硬是写不出来。这是xpath...

2024-08-30 09:02:06 1604

原创盘点一个Pycharm汉化过程中的一个坑

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强白银交流群【生产队的驴都是不歇的】问了一个Python汉化的问题，问题如下：要把我弄疯了，汉化不成功，想重新安装，又不给出卸载选项，通过硬盘安装插件又提示异常。去插件文件夹删除所有插件文件，再重新安...

2024-08-29 09:00:28 1014

原创请问下这种链接怎么动态翻页？拿到完整的html？【赠书】

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python网络爬虫数据处理的问题。问题如下：大佬们请问下这种链接怎么动态翻页？拿到完整的html？打开链接默认是显示20行数据，要再往下查到数据，需要手动...

2024-08-28 08:57:13 1016

原创盘点一个Python库安装的问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【YVONNE????】问了一个Python库安装的问题。问题如下：各位大神好，我安装了一个第三方的package，已经装好了，cmd中显示我装的包的版本是1.1.12，但是我发现我需要用的包的版本...

2024-08-26 09:00:17 714

原创这种字符串包含了不需要的双引号，导致读取成json文件失败？Python怎么批量修改？...

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python数据处理的问题。问题如下：大佬们请教下这个问题，数据为下载的html文件，写法已经固定，解析成json文件会报错，这种字符串包含了不需要的双引号...

2024-08-24 09:02:35 731

原创 1688 这个搜索keywords 无法解码什么情况？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【此类生物】问了一个Python网络爬虫处理的问题。问题如下：1688 这个搜索keywords 无法解码什么情况？二、实现过程这里【黑科技·鼓包】给了一个指导，如下所示：点开可以看到，知...

2024-08-23 09:00:15 457

原创为什么我的pyecharts的图显示不出来啊？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【无敌劈叉小狗】问了一个Python可视化问题，问题如下：为什么我的pyecharts的图显示不出来啊？搜了一下说把网络加载的资源安装到本地，但是我这报错了。二、实现过程这里【买醉】给了一个指...

2024-08-19 09:01:08 727

转载 4w！这收入认真的么？！

在如今这个信息爆炸的时代，每个人都想找到一条适合自己的赚钱之道。兼职或副业无疑成了一个不错的选择，既可以充实自己的业余生活，也能为钱包添点厚度。对于有编程基础或技术感兴趣的人来说，学习爬虫技术、利用技术接单，无疑是一个不错的选择，既可以充实自己的技术储备，也能带来额外的收入。很多人在当下的Python兼职旺季中接到大单，甚至有人靠私活赚了几个w。正好，我最近也做了单私活：↑接到接口逆向的定单，了解...

2024-08-11 09:01:07 182

原创 Excel文件拆分后需要在每一个excel表格中插入汇总页，怎么办？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Python，数据处理的问题，问题如下：请问有一个Excel文件需要按照某列拆分成不同的表格（需要带格式），拆分后需要在每一个excel表格中插入汇总页（），这个汇总页是带公...

2024-07-30 13:00:59 394

转载豆瓣8.4，时隔9年，经典Python编程三剑客之一第2版重磅上市！

文末赠书时隔9年，畅销近20万册，豆瓣评分8.4，被誉为'Python编程三剑客'之一的《Python极客项目编程》终于迎来了第2版中文版的问世！作为一本经典图书的延续，第2版不仅基于Python3.9进行了全书修订，还包含AI语音识别等5个全新项目，让你跟上Python的最新潮流。▼点击下方，即可购书这本书因前沿的技术和易懂的代码闻名，让读者能快速理解Python的精髓和相关的数学知识，然后就能...

2024-07-28 10:01:02 66

原创哪位大佬知道为啥最后计数是0吗？实际是有数据的

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【Jethro Shen】问了一个Python数据处理的问题，问题如下：哪位大佬知道为啥最后计数是0吗？实际是有数据的二、实现过程这里【瑜亮老师】给了一个指导，如下所示：这不是发生错误了么？你...

2024-07-27 09:02:14 306

原创我当初装anaconda的时候浏览器默认下载路径在d盘，现在想用ipython的时候用不了了咋办？...

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【041】问了一个Python环境的问题，问题如下：我当初装anaconda的时候浏览器默认下载路径在d盘，现在想用ipython的时候用不了了咋办？二、实现过程这里【论草莓如何成为冻干莓...

2024-07-26 09:00:37 377

原创我用plt.contour()怎么把颜色棒区间显示区间设定为0~17呀？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【王者级混子】问了一个matplotlib作图的问题，问题如下：大佬们，我用plt.contour()怎么把颜色棒区间显示区间设定为0~17呀？二、实现过程这里【论草莓如何成为冻干莓】给了一个...

2024-07-24 09:02:41 722

原创请问一下，为啥我赋值不成功啊？？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Python数据处理的问题，问题如下：请问一下，为啥我赋值不成功啊？？二、实现过程这里【瑜亮老师】给了个思路如下：你这不还是原来的问题？【逆光】：我解决了，我也不知道原因是...

2024-07-22 09:01:20 835

原创为什么我新建了一个单元块之后代码报错？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【041】问了一个Python代码处理的问题，问题如下：有两个问题想问一下大家，第一个问题是为什么我新建了一个单元块之后代码报错，但是他这个里面新建代码块的话就能运行成功。第二个问题是他这个...

2024-07-20 09:03:24 845

原创 python实现解压rar文件按这个文章说的把脚本放到unrar.exe文件下失败？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python自动化办公的问题，问题如下：大佬们请问下 python实现解压rar文件按这个文章说的把脚本放到unrar.exe文件下也是运行成功但是未...

2024-07-18 09:02:17 661

原创请问如何将带有斜纹水印pdf的转成Excel呢？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python自动化办公的问题，问题如下：请问如何将带有斜纹水印pdf的转成Excel呢？目前我把pdf转成图片，根据水印的颜色进行清除，但是在脱网环境下无法将图片转成Ex...

2024-07-17 09:29:59 939

原创 Python一样的代码，写出来，有些识别的不对呢？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Python数据处理的问题，问题如下：一样的代码，提取数字，写出来，有些识别的不对呢？二、实现过程这里【瑜亮老师】给了个思路如下：你这代码一看就让人头疼【逆光】：我再看也头疼【...

2024-07-16 09:00:18 241

转载基于Python的23种经典设计模式实战（超全）！

当你凝视电脑屏幕，琢磨着如何实现新的程序功能时，你不仅在想将使用哪些数据和哪些对象，更在想如何以更优雅、更通用的方式来实现这个程序。你在脑海中构思代码的功能以及代码之间的交互，并勾画出整体解决方案，然后才会着手编写代码。最佳的整体解决方案应当具有高重用性和高可维护性，由此设计模式越来越受到重视，它能满足对精致、简单且可重用的解决方案的需求。设计模式这个词对于初学者来说听起来有点陌生，它是在项目和程...

2024-07-14 09:00:36 236

原创我用cpca 截取地址中的省市区，突然就乱了，这是什么原因

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题，问题如下：请问一下我用cpca 截取地址中的省市区，突然就乱了，这是什么原因？二、实现过程这里【瑜亮老师】给了个思路如下：看着好像是行弄乱了。【不...

2024-07-13 09:00:47 653

原创请问我这个报错是什么原因啊?

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Python数据处理的问题，问题如下：请问我这个报错是什么原因啊?二、实现过程这里【瑜亮老师】给了个思路如下：感觉是你把表头也读成数据了【不上班能干啥！】：距离两个字不能被转换...

2024-07-12 09:04:17 758

转载如何申请算法备案

一、什么是算法备案算法备案全称为《互联网信息服务算法推荐管理规定》，是由国家互联网信息办公室会同工信部、公安部、市场监督管理总局联合发布的具有强制性的备案制度，旨在规范互联网信息服务推荐算法活动，该规定于2022年3月1日生效。二、哪些业务场景需要算法备案根据现行监管规定关于算法备案的要求，无论是大模型还是产品，只要是“应用内含有向中国境内公众提供算法推荐服务功能”的，都需要进行备...

2024-07-11 09:00:19 89

原创 python项目导入上级目录设置”的setting.json是不是哪里还有错误呀？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【王者级混子】问了一个Python代码处理的问题，问题如下：大佬们，我想问问我抄网上“vscode运行python项目导入上级目录设置”的setting.json是不是哪里还有错误呀？还是没法...

2024-07-10 12:44:09 564

原创 excel实现对同一个工作簿下不同工作表分别加密，这种能实现吗？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python自动化办公的问题，问题如下：大佬们请问下这种能实现吗？excel实现对同一个工作簿下不同工作表分别加密。二、实现过程这里【瑜亮老师】给了一个思路...

2024-07-09 09:02:31 843

原创 python实现excel附件插入word文档指定位置中

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python自动化办公的问题，问题如下：python实现excel附件插入word文档指定位置中大佬们这种案例你们有没有可以参考的呀？二、实现过程这里...

2024-07-04 09:00:31 1093

原创合并excel的两列，为空的单元格被另一列有值的替换？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Pandas数据处理的问题，问题如下：请问合并excel的两列，为空的单元格被另一列有值的替换。二、实现过程这里【瑜亮老师】给了一个思路：.bfill(axis=1)。【逆光...

2024-07-03 09:00:51 836

原创麻烦问一下xpath标签定位的这个索引是做什么用的？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【杨又串????】问了一个Python网络爬虫的问题，问题如下：老师，麻烦问一下xpath标签定位的这个索引是做什么用的，我听网课把这个知识点跳过了？二、实现过程后来【隔壁????山楂】给了一个指导：...

2024-07-02 09:42:15 568

原创盘点一个selenium网络爬虫问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【G.】问了一个Python网络爬虫的问题，问题如下：各位大佬好，我这遇到一个问题，用selenium爬网页的时候，切换页面后网页有时会出现10条数据，有时会出现6条数据，出现6条数据时显...

2024-06-29 09:03:24 1135

原创盘点一个Python自动化办公需求——把指定sheet文件数据插入到word指定位置

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个Python自动化办公的问题，问题如下：大佬们有没有什么案例可以参考的呀要把指定sheet文件数据插入到word指定位置但是数据插入是不带格式框线的...

2024-06-28 09:51:23 943

原创 Pandas数据处理报错了，怎么处理呢？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题，问题如下：请问大家，我这个出错了，为什么？二、实现过程这里【莫生气】给了个思路如下：你这个Series中包含多种数据类型或者空值吧。如果Series...

2024-06-27 09:00:50 494

原创这个代码发生异常了，怎么破？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【Jethro Shen】问了一个问题，如下：发生异常：Timeout value connect was <object object at 0x102a80b70>, but ...

2024-06-26 09:01:14 400

空空如也

空空如也