- 博客(1907)
- 收藏
- 关注
RSS订阅
原创 如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇（理论篇），今天给大家分享一下代码实现（实战篇），接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期，因此在这里定义好日期和动态两个属性，如下图所示。 2、修改实现爬虫逻辑的主文件moment.py，首先要导入模块，尤其是要主要将item...
2018-05-12 23:40:04
16663
31
转载 DeepSeek下:从数据民工到战略顾问的破局三式
来进行分析，比如：通过杜邦指标体系发现，年营收下降了10%，是因为存货周转率下降了6%导致的，杜邦指标体系的拆解方法属于业务宏观分析方法，也是CDA一级教材重点讲解的内容。至于更详细的用户每增加一岁，购买的logit提升比例的计算，就属于算法模型了，根据模型预测结果，结合客户产品偏好，针对响应概率在某一个区间的客户推荐XX产品，都属于基于算法模型做的量化策略，这是CDA二级和三级要学习的内容。的技术难度，设计了CDA 一级至三级的学习内容，并对各类分析工具的掌握提出了相应的要求。通常可视化看板内容架构。
2025-04-25 09:03:31
39
转载 终于迈过了5W这道坎！
学完速成干货课程，要第一时间拿大厂高阶项目实战巩固，进一步提升技术，这套教程就非常适合练手！的需求量一直在涨，且有愈演愈烈的趋势，尤其最近这个节点，爬取数据的需求也越来也多了。的高阶技术实战课，将由国际大数据竞赛获奖大佬亲身指导，带领大家进行。瑞数系列、akamai、f5盾等，这种项目价格可想而知了。目前市场上中小行网页的加密主要采用的是算法系的加密，当然光嘴上说说是没用的，动手才是任何计划的第一步。6、详解混淆JS与无混淆JS企业常用的解密或加密。2、详解数据接口的快速定位区分结构化与非结构化。
2025-04-21 09:01:13
38
原创 盘点一个Python代码执行中的一个小bug解决案例
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤渡远荆门外，来从楚国游。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【行者】问了一个Python代码运行报错的问题。问题如下：老师早上好，这个 bage 怎么修复 ，谢谢，美图秀秀 美颜图片制作，使用的是opencv 模块。这个是安装 opencv 模块，...
2025-02-25 09:01:29
471
转载 DeepSeek的出现，大模型彻底炸了。。
DeepSeek引领AI变革，程序员的关键转型期已经到来！????2025年，谁能成为AI时代的赢家？DeepSeek模型的爆发，正在重塑技术人的职业生态！到2030年，AI人才缺口将达400万，懂大模型的工程师将成为稀缺人才！现在，DeepSeek等一线大模型公司的AI岗位年薪突破120W，大模型应用开发工程师已经成为最抢手的黄金职位！左右滑动查看更多但别高兴太早！AI正在快速迭代，普通程序员将被无...
2025-02-19 09:00:41
50
转载 炸裂！DeepSeek可以接入个人微信了！手把手教！
大家好，我是Python进阶者。最近DeepSeek爆火，不仅仅是因为它开源、便宜，更重要的是它的写作能力、编码能力、搜索能力都是非常强的，并且它是我国首个开源的AI！有人说：会使用DeepSeek就成功了一半！哈哈，这有点过了，但确实会大大的提高开发的效率，例如前面我就写了一篇文章，利用DeepSeek开发一个全栈小程序，还小赚一笔！激动！用DeepSeek赚了4万，手把手分享全栈开发教程！今天...
2025-02-10 09:01:40
1138
3
转载 使用DeepSeek写一份考取清华北大的鸡娃攻略
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤寒雨连江夜入吴，平明送客楚山孤。大家好，我是Python进阶者。一、前言关于DeepSeek的使用和部署，很多公众号都有发布，这里就不再赘述了，如果你实在不会，又觉得自己搞定有些麻烦的话，文末添加我的好友，手把手教你，并提供给你软件。二、关于DeepSeek昨天用起来还是比较卡的，问答...
2025-02-08 09:00:45
187
原创 使用DeepSeek写一份爬取百度首页处热点话题标题的Python代码
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤寒雨连江夜入吴，平明送客楚山孤。大家好，我是Python进阶者。一、前言春节这几天DeepSeek杀疯了，如果你还没有听过DeepSeek，那你真的是太Out了，感觉唰唰唰起来吧。关于DeepSeek的使用和部署，很多公众号都有发布，这里就不再赘述了，如果你实在不会，又觉得自己搞定有些...
2025-02-07 09:01:13
1508
转载 听说学金融还要会Python编程？看懂这套书全都玩转
Part.1量化交易都在用Python做吗？在某乎上有一篇热门问答：为什么几乎所有的量化交易都用 Python？有不少来自金融圈人士的回答获得了高赞，总结一下观点，就会发现其实不是量化交易选择 Python，而是 Python 自身的特性在金融领域的应用有着巨大的优势。首先，Python 语法简单、易懂，开发效率高。金融专业研究人员可以快速上手，并更专注于策略的逻辑而不是复杂的语言特性。其次，Py...
2025-01-15 09:01:28
165
原创 为啥这个匹配不行呀 根据开头去匹配返回指定列的值不行
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公处理的问题。问题如下：大佬们 求助一下 为啥这个匹配不行呀 根据开头去匹配返回指定列的值不行代码如下：importpandas...
2025-01-07 09:02:05
584
转载 万人追读，未出版就爆火，这本机器学习漫画小抄终于出版了！
关注我们丨文末赠书今天，小异要向你介绍的是一套在外网爆火的的机器学习闪记卡。这套闪记卡由机器学习大神Chris Albon博士创作，因其言简意赅的语言、易懂易记的彩绘插图、简洁明晰的排版，能帮助学习者像背单词一样轻松搞定机器学习关键概念，而获得了数万人的关注，被超多大咖推荐，在国内小红书、抖音、公众号等平台大V推荐并一直被国内读者强烈要求引进.....现在，我们终于把《机器学习漫画小抄》汉化并集结...
2024-12-28 09:02:07
107
原创 群里大神帮看看我程序哪里错了？谢谢。我估计是isin这里出了问题，但找不到原因...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【小马哥】问了一个Python自动化办公的问题。问题如下：群里大神帮看看我程序哪里错了？谢谢。我估计是isin这里出了问题，但找不到原因，我的期望是想在这个excel的M4格子里写一个值：...
2024-12-27 09:13:27
1051
原创 盘点一个Python代码调用的问题
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【向阳】问了一个Python代码调试的问题。问题如下：下面是具体的运行代码：deftit_for_tat(history):iflen(history)==0:...
2024-12-26 09:01:09
702
原创 这个安装文件包，运行SETUP，报错，怎么解决？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【小歌】问了一个Python代码调试的问题。问题如下：SETUP.Py在notebook条件下运行，报错信息，谁能指导下不？：）二、实现过程这里【瑜亮老师】给了一个指导，如下所示：@小歌 ...
2024-12-25 09:02:17
751
转载 75K！这种副业到底谁在干？！
Python接单是近年来越来越受欢迎的一种兼职方式了。按市场需求排，主要在网络爬虫、Web后台接口和数据处理与分析三个技术点上。后两者在需求上不大，而近两年业界对爬虫技术服务的需求量一直在涨，且有愈演愈烈的趋势。尤其年末这个点，爬取数据的需求也越来也多了。现在很多圈子里的大佬，都在利用爬虫技术接私活：那Python爬虫学到什么程度可以接单？目前市场上中小行网页的加密主要采用的是算法系的加密，而算法...
2024-12-23 09:02:32
53
转载 找不到合适的数据分析报告模板？AIGC帮你定制！
导读：随着大数据时代的到来，数据量激增、快速决策压力巨大、数据分析成本上升等问题逐渐暴露，而AIGC技术为数据分析师们提供了全方位的支持，极大地提高了报告的产出效果和效率。例如，AIGC通过生成思维导图，帮助数据分析师更好地组织和可视化数据，进而更好地理解数据之间的关系。本文将探讨思维导图在报告中的多重用途，以及借助AIGC将数据分析报告转化为思维导图的方法，包括开源工具和商业工具的具体用法。01...
2024-11-27 11:18:56
182
转载 数据可视化学习者的福音！“对比Excel”畅销书系第5本新书来啦，轻松学习Python数据可视化...
????点击“博文视点Broadview”，获取更多书讯--文末赠书--文/张俊红时隔两年后，对比Excel系列的又一本新书发布，就是下面这本《对比Excel，轻松学习Python数据可视化》。这本书是对比Excel系列的第五本新书。截止目前，红橙黄绿青蓝紫七种颜色中已经凑齐五种，剩下开头结尾的红色和紫色两个空格了(不知道还能不能凑齐)。还是老规矩，这篇文章主要给大家介绍下这本新书。01为什么要学数据可...
2024-11-11 10:25:08
120
原创 王者网页源码，中文显示乱码，尝试多种 编码都不行，该怎么解决？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【向阳】问了一个Python网络爬虫乱码的问题。问题如下：各位王者网页源码，下面爬出来中文显示乱码，尝试过encoding-utf-8、gbk、gb2312都不行，请问是什么问题？...
2024-11-01 09:01:17
682
原创 盘点一个Python自动化办公实战的工作教程
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【上海新年人】问了一个Python自动化办公的问题，问题如下：是这样子的，公司要求实际到手12000块，然后呢要朝前推算出，这个人税前工资，个税，累计数什么的，用EXCEL我已经写出来...
2024-10-31 09:03:35
907
原创 chrome浏览器selenium点击下载pdf时总是提示“已阻止不安全的下载”
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Python网络爬虫的问题，问题如下：chrome浏览器selenium点击下载pdf时总是提示“已阻止不安全的下载”，需要手动去点击切换。有没有什么代码直接可以默...
2024-10-30 09:00:44
1148
转载 这套卖了 20w 册的数据分析系列书，又出新书了
数据分析圈的同学应该对《对比Excel》学数据分析这一系列图书都有一定的了解。这一系列书截止目前累计销量已经超 20w 册了。时隔两年后，该系列的又一本新书发布，就是下面这本《对比Excel，轻松学习Python数据可视化》。这本书是对比Excel系列的第五本新书。截止目前，对比Excel红橙黄绿青蓝紫七种颜色中已经凑齐五种。下面是关于这本书的主要介绍。为什么要学数据可视化如果你已经在从事数据分析...
2024-10-25 21:51:03
63
原创 灰色代码部分：要是输入名字列表，又能输出结果，但是空列表的时候就输出不了？...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【Aciel】问了一个Python基础的问题，问题如下：灰色代码部分：要是输入名字列表，又能输出结果，但是空列表的时候就输出不了？二、实现过程这里【瑜亮老师】给了一个指导，具体如下所示...
2024-10-24 09:01:19
705
原创 影刀怎么办获取的源代码数据保存到本地呀
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个影刀的问题。问题如下：大佬们 有没有人用过影刀呀 怎么办获取的源代码数据保存到本地呀 搜了好多教程都没有看到这个二、实现过程这里【吴超建】给了一...
2024-10-23 09:01:21
1225
原创 fiddler中显示乱码，哪位大佬知道怎么处理，decode已经选中过了？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个fiddler抓包乱码的问题，问题如下：fiddler中显示乱码，哪位大佬知道怎么处理，decode已经选中过了二、实现过程这里【莫生气】找AI给了一个指导，具体如...
2024-10-22 09:02:04
811
原创 300万条Excel数据，读取起来非常慢，我如果开其他的程序，还会保内存不足。。...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python铂金交流群【逆光】问了一个Pandas数据处理的问题，问题如下：请问一下，我现在有5个excel用pandas数据，这5个excel加起来数据大概有300万条，读取起来非常慢，我如果开其他的程序...
2024-10-21 09:02:02
862
原创 为什么有时候按这个运行的三角符号却运行了其他节的代码，要是用ctrl+shift+f10就不会？...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朱雀桥边野草花，乌衣巷口夕阳斜。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【Aciel】问了一个Pycharm使用的问题，问题如下：请教老师们，为什么有时候按这个运行的三角符号却运行了其他节的代码，要是用ctrl+shift+f10就不会？二、实现过程这里【...
2024-10-18 09:01:25
869
转载 一个薪资被严重低估的方向，很稳...
随着Python编程语言在各行业中的应用不断增加，Python程序员的需求也随之增长。在《2024python岗位调查报告》中，爬虫开发就有超过40%的占比。近两年业界对爬虫技术服务的需求量一直在涨，且有愈演愈烈的趋势，现在早已供不应求。正值10月兼职订单爆发期，现在很多圈子里的大佬，都在利用爬虫技术接私活。现在这个时间，爬虫逆向类的私活订单数量多价格高：虽说需求大、订单多、报酬也很丰厚，但这钱也...
2024-10-14 09:01:13
183
原创 AI给的和自己写的Python代码，都无法改变输入框的内容，替换也不行
下次点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤言入黄花川，每逐清溪水。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python的问题。问题如下：我也遇到问题了..大佬们知道的帮忙解答下，很奇怪，不知道为什么nicegui库中input输入框的值不能用change改变的模式更...
2024-09-25 09:00:43
822
原创 python打包的exe文件为什么有时候运行很慢有时候很快？
下次点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤言入黄花川，每逐清溪水。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python打包处理的问题。问题如下：大佬们 请问下 你们有没有遇到这种情况 python打包的exe文件为什么有时候运行很慢有时候很快？同一个e...
2024-09-24 09:01:13
775
原创 Python可视化过程中.pictures.add这里一直报错，不明原因
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Python可视化的问题，问题如下：importmatplotlib.pyplotasplt#创建一个简单的图表fig,ax=plt.subplots(...
2024-09-23 09:01:26
490
原创 哪位大佬帮助解释下红框这里为什么需要下标？
下次点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤言入黄花川，每逐清溪水。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Pandas数据处理的问题，问题如下：哪位大佬帮助解释下红框这里为什么需要下标。只有一个值，后面那个绿框里面的括号用了转义字符，不是要取的值。二、实现过程这里【瑜亮老师...
2024-09-14 09:01:28
735
转载 Python打包完成后报错，如何解决？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个Python打包处理数据的问题，问题如下：打包完成后报错：发生错误:Missing optional dependency 'openpyxl'.Use pip or ...
2024-09-12 09:01:53
276
原创 需求是统计excel表格每个sheet的行数，请问还有更快捷的方法么?
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤行至水穷处，坐看云起时。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题，问题如下：importpandasaspdimportpolarsasplimporttimestart_time=t...
2024-09-07 09:02:34
1044
原创 请问还有其他方法处理Pandas偶然出现的第三列的值么
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题，问题如下：通过python处理cvs文件，cvs默认是两列，但是因为系统导出的原因，第三列可能也有数值，导致df = pd.read_csv(...
2024-09-06 09:02:10
1038
原创 想问一下Pycharm中这五个解释器有啥区别吗
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愿君多采撷，此物最相思。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【平庸】问了一个Python环境处理的问题，问题如下：大佬们我想问一下下图Pycharm中这五个有啥区别吗？二、实现过程后来【瑜亮老师】给了一些解答如下：virtualenv和pipenv适合...
2024-09-05 14:13:20
1416
原创 安装modin后读取excel表格提示如下报错，应该怎么解决呢？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强白银交流群【wen】问了一个Python库安装报错的问题，问题如下：import modin.pandas as pddf = pd.read_excel('D:\input\数据.xlsx',s...
2024-09-04 09:00:58
865
原创 这个Python网络爬虫代码怎么解决乱码？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤舳舻争利涉，来往接风潮。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【此类生物】问了一个Python乱码的问题，问题如下：这个代码怎么解决乱码？二、实现过程这里【瑜亮老师】给了一个指导：删掉headers中的这一行"accept-encoding": "g...
2024-09-03 10:02:30
741
原创 盘点一个Pandas数据处理问题
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤孤舟蓑笠翁，独钓寒江雪。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个pandas数据处理的问题。问题如下：请教个问题，df['区划编码'] = df['区划编码'].replace(f"420113000000", "'420113...
2024-08-31 10:03:58
1028
原创 怎么用xpath写drissionpage？或者用相对位置？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤挂席东南望，青山水国遥。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python网络爬虫处理的问题。问题如下：有没有大佬指点下怎么用xpath写drissionpage？或者用相对位置？我看了半天中文文档硬是写不出来。这是xpath...
2024-08-30 09:02:06
1856
原创 盘点一个Pycharm汉化过程中的一个坑
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤坐看霞色晚，疑日赤城标。大家好，我是Python进阶者。一、前言前几天在Python最强白银交流群【生产队的驴都是不歇的】问了一个Python汉化的问题，问题如下：要把我弄疯了，汉化不成功，想重新安装，又不给出卸载选项，通过硬盘安装插件又提示异常。去插件文件夹删除所有插件文件，再重新安...
2024-08-29 09:00:28
1111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人