- 博客(1602)
- 收藏
- 关注
RSS订阅
原创 如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇（理论篇），今天给大家分享一下代码实现（实战篇），接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期，因此在这里定义好日期和动态两个属性，如下图所示。 2、修改实现爬虫逻辑的主文件moment.py，首先要导入模块，尤其是要主要将item...
2018-05-12 23:40:04
16044
31
原创 盘点一个Python自动化办公实战实现数据汇总填充（方法四）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。大家好，我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。下图是他的原始数据和他想得到的目标数据，如下所示：需要在标黄的两行里边进行相关操作。二、实现过...
2023-10-02 10:01:12
11
原创 盘点一个Python自动化办公实战实现数据汇总填充（方法三）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤此臣所以报先帝而忠陛下之职分也。大家好，我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。下图是他的原始数据和他想得到的目标数据，如下所示：需要在标黄的两行里边进行相关操作。二、实现过程上一篇文章我们已经优化过...
2023-09-28 09:00:56
23
原创 盘点一个Python自动化办公实战实现数据汇总填充（方法二）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤兴复汉室，还于旧都。大家好，我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。下图是他的原始数据和他想得到的目标数据，如下所示：需要在标黄的两行里边进行相关操作。二、实现过程上一篇文章我们初步实现了需求，但是还...
2023-09-27 09:01:37
14
原创 盘点一个Python自动化办公实战实现数据汇总填充（方法一）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤庶竭驽钝，攘除奸凶。大家好，我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。下图是他的原始数据和他想得到的目标数据，如下所示：需要在标黄的两行里边进行相关操作。二、实现过程这里【莫生气】和【Ineverlef...
2023-09-26 09:03:03
24
原创 盘点一个使用Python自动化处理GPS、北斗经纬度数据实战（下篇）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤故五月渡泸，深入不毛。大家好，我是皮皮。一、前言上一篇文章我们使用了Python来实现数据的导入和分列处理，最终可以得到符合预期的结果，不过还可以继续深挖优化下，这一篇文章一起来看看吧。优化的背景如下图所示：二、实现过程这里【瑜亮老师】继续给了一个优化指导，如下图所示：并且给出的代码如...
2023-09-25 16:32:35
26
原创 盘点一个使用Python自动化处理GPS、北斗经纬度数据实战（中篇）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤今南方已定，兵甲已足。大家好，我是皮皮。一、前言上一篇文章我们使用了Excel来实现数据的导入和分列处理，最终可以得到符合预期的结果，但是该方法过于复杂，亟需一个Pythonic的方法，这一篇文章我们一起来看看吧！二、实现过程这里【瑜亮老师】给了一个指导，如下图所示：并且给出的代码如下...
2023-09-23 10:01:32
87
原创 盘点一个使用Python自动化处理GPS、北斗经纬度数据实战（上篇）（文末赠书）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤当奖率三军，北定中原。大家好，我是皮皮。一、前言前几天在Python白银群【灰崽】问了一个Python自动化办公的问题，一起来看看吧。下图是他的原始数据：他想得到的目标数据，如下所示：二、实现过程这里看上去数据还算是比较工整的，处理起来的话，相对好一些。这一篇文章，我们先给大家展示使用...
2023-09-22 10:24:53
25
转载 1885页学习资料。一本在手，python不愁！
python3.11即将于下半年发布，新的版本速度提升2倍，以弥补与其他编程语言在速度上的缺陷。可以预见Python语言在未来的应用范围会越来越广。python学习方向建议：如果你是本科及以下学历，建议你学习以下两个方向1、爬虫。简单的爬虫库，代理爬虫，分布式爬虫等2、Web。学习主流Web框架，轻量级的Flask。重量级的Django等3、自动化测试如果你是本科以上学历，建议你学习1、机器学习2...
2023-09-21 09:00:43
23
原创 已知我有一个表格里有编号状态和名称的列，如何转换为目标样式？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤此臣所以报先帝而忠陛下之职分也。大家好，我是皮皮。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python自动化办公的问题，一起来看看吧。请教一下PANDA库的问题：已知我有一个表格里有编号状态和名称的列，我想转换为右侧图示的表，df该怎么写啊？状态最多四种可能会...
2023-09-20 09:02:04
19
原创 Python解析MDX词典数据并保存到Excel
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤察纳雅言，深追先帝遗诏，臣不胜受恩感激。原始数据和处理结果：https://gitcode.net/as604049322/blog_data/-/tree/master/mdx下载help.mdx词典后，我们无法直接查看，我们可以使用readmdict库来完成对mdx文件的读取。安装...
2023-09-19 09:01:17
875
原创 Typora导出的PDF目录标题自动加编号
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤今当远离，临表涕零，不知所言。Typora导出的PDF目录标题自动加编号在Typora主题文件夹增加如下文件后，标题便自动加上了编号：https://gitcode.net/as604049322/blog_data/-/blob/master/base.user.css例如：但是导出...
2023-09-18 13:54:40
222
原创 为啥我的第二个for循环不加框红的代码就运行失效呢？（文末赠书）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤苟全性命于乱世，不求闻达于诸侯。大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们 请教个问题 为啥我的第二个for循环不加框红的代码就运行失效呢？这个变量开头就有声明了二、实现过程这里【瑜亮老师】...
2023-09-16 10:02:32
33
原创 Python应用实战——盘点一个Python面试编程题（附代码）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤苟全性命于乱世，不求闻达于诸侯。大家好，我是皮皮。一、前言前几天在Python奥特曼交流群【。。】问了一个Python面试题的问题，一起来看看吧，图片代码分享版本在这个文章，盘点一个Python面试编程题（Python应用实战）(文末赠书)，在里边也可以拿到原始的需求数据。这里应粉丝的...
2023-09-14 10:49:23
29
原创 Python判断多个文件夹的文件夹名是否包含“分公司”或“营销中心”怎么处理？（方法四）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤必能使行阵和睦，优劣得所。大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们请问下 判断多个文件夹的文件夹名是否包含“分公司”或“营销中心” 有没有什么简便的办法可以实现呀？二、实现过程上一篇文章...
2023-09-13 09:02:35
29
原创 Python判断多个文件夹的文件夹名是否包含“分公司”或“营销中心”怎么处理？（方法三）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愚以为营中之事，悉以咨之。大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们请问下 判断多个文件夹的文件夹名是否包含“分公司”或“营销中心” 有没有什么简便的办法可以实现呀？二、实现过程上一篇文章...
2023-09-12 09:26:52
38
原创 Python判断多个文件夹的文件夹名是否包含“分公司”或“营销中心”怎么处理？（方法二）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤先帝称之曰能，是以众议举宠为督。大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们请问下 判断多个文件夹的文件夹名是否包含“分公司”或“营销中心” 有没有什么简便的办法可以实现呀？二、实现过程这里...
2023-09-11 09:00:55
33
原创 Python中的os模块是不是慢慢被淘汰了？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤亲贤臣，远小人，此先汉所以兴隆也；大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们请问下 判断多个文件夹的文件夹名是否包含“分公司”或“营销中心” 有没有什么简便的办法可以实现呀？在解决这个问题...
2023-09-10 10:12:00
80
原创 盘点一个os.path.join()函数遇到的小问题（文末赠书）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤连峰去天不盈尺，枯松倒挂倚绝壁。大家好，我是皮皮。一、前言前几天在Python最强王者群【小马哥】问了一个os路径拼接处理的问题，一起来看看吧。问大佬个简单的问题，temp = os.path.join('/hello/', 'good/date', 'body')print(te...
2023-09-09 09:00:51
767
转载 国内第一本[利用ChatGPT进行数据分析]的书（老规矩留言送书）
比尔·盖茨曾说过：“ChatGPT 像互联网发明一样重要，将会改变世界。”如今 ChatGPT 已经变得非常热门，人们可以通过与 ChatGPT 进行天马行空的对话，获取自己需要的答案。它可以按照人的指令生成各种文本，来满足不同领域和场景的需求，例如翻译文本、撰写诗歌、代码、剧本、商业计划书等等。如果你实际体验过，肯定会惊叹于其强大的能力。ChatGPT 适用于各个领域，那对于数据分析是否可行？想...
2023-09-08 09:02:47
20
原创 Python判断多个文件夹的文件夹名是否包含“分公司”或“营销中心”怎么处理？（方法一）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤晓畅军事，试用于昔日。大家好，我是皮皮。一、前言前几天在Python最强王者群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。大佬们请问下 判断多个文件夹的文件夹名是否包含“分公司”或“营销中心” 有没有什么简便的办法可以实现呀？二、实现过程这里粉丝自己其...
2023-09-07 09:00:11
51
原创 python中如何使用正则表达匹配\本身？（文末赠书）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤将军向宠，性行淑均。大家好，我是皮皮。一、前言前几天在Python钻石群【空】问了一个Python正则表达式的问题，一起来看看吧。二、实现过程上面【瑜亮老师】和【莫生气】已经给出了答案，不过他自己测试的时候发现不对，他的代码如下：其实他这里字符串中的\b把那个b转义了，这个是不符合字符...
2023-09-06 09:00:39
735
原创 Python网络爬虫中这七个li标签下面的属性值，不是固定的，怎样才能拿到他们的值呢？...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。大家好，我是皮皮。一、前言前几天在Python最强王者群【我怎么又饿了】问了一个Python网络爬虫的问题，一起来看看吧。二、实现过程这里【不上班能干啥！】和【瑜亮老师】给了一个指导，直接取ul，下面的全要，管你是7...
2023-09-04 09:29:38
953
原创 盘点一个Pandas处理Excel数据的实战案例
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤磨牙吮血，杀人如麻。大家好，我是皮皮。一、前言前几天在Python最强王者群【小马哥】问了一个Python自动化办公处理的问题，一起来看看吧。三更睡五更起，阎王夸你好身体，粉丝凌晨2-3点在群里发问。各位大佬，我又有个excel 程序问题来求助了，请看下方这个excel 文档，里面写了...
2023-09-03 09:00:37
33
转载 新书刚发布，就冲到京东第二了
????点击“博文视点Broadview”，获取更多书讯--文末赠书--ChatGPT已经火了这么久，国内各种AI大模型也接踵而至，还有哪位小可爱或小可爱周围的家人朋友不知道ChatGPT到底是个啥，不会用各种AI工具的咩？不知道也没关系，也可能是因为你觉得现有的学习材料都还是有些枯燥乏味了，不够好玩有趣地带你进入这个神奇的AI世界！但是，在这个AI时代里，了解并学会使用这些AI工具已经成为人人必备的技...
2023-09-02 10:01:26
25
转载 ChatGPT进阶：提示工程入门
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。前言人类一直在寻找、制造并使用工具，以扩展我们的能力，适应我们的环境，甚至超越我们的生物限制。现在，我们正站在一个历史性的分水岭之上，迎来AI人工智能的时代。如今，以ChatGPT为代表的人工智能已经成为一种无法忽视的力量。它们正在迅...
2023-09-01 09:01:42
36
原创 读取某个excel表格，但是某些列的标识带有空格，怎么去除呢？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤朝避猛虎，夕避长蛇；大家好，我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个Pandas数据处理的问题，一起来看看吧。请教个问题 我读取某个excle表格，但是某些列的标识带有空格，怎么去除呢，我把整个excel该成“string”格式并通过strip（）函数处理，第...
2023-08-31 09:01:15
61
原创 请教一个问题，为什么我是列表格式，但是运行就报错啊？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤所守或匪亲，化为狼与豺。大家好，我是皮皮。一、前言前几天在Python最强王者群【黑科技·鼓包】问了一个numpy数据处理的问题，一起来看看吧。请教一个问题，为什么我是列表格式，但是运行就报错啊？不允许变量赋值这个结果吗？np.gcd.reduce（列表），简单来说我需要一个输入框，输...
2023-08-30 09:00:52
17
原创 盘点一个Python自动化办公的问题——批量实现文件重命名（方法二）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤连峰去天不盈尺，枯松倒挂倚绝壁。大家好，我是皮皮。一、前言前几天在Python最强王者群【维哥】问了一个Python自动化办公处理的问题，一起来看看吧。大佬们，请教一个Python自动化办公的问题，我有一个名为data的文件夹，下面有这4个Excel文件。然后还有一个原始数据.xlsx...
2023-08-29 09:01:51
21
原创 分享一个Pandas应用实战案例——使用Python实现根据关系进行分组
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤亲贤臣，远小人，此先汉所以兴隆也；大家好，我是皮皮。一、前言近日，有群友提出这样的问题：群友提示可以使用ChatGPT，并给出代码：二、实现过程这里【瑜亮老师】给出了另外一个答案，与此同时，根据需求，构造数据，使用pandas也可以完成需求，代码如下：importpandasas...
2023-08-28 09:01:07
32
转载 深圳南山，数据分析师，35K*15，稳了！
大家好，最近一直在忙，难得昨天有空，特意来公众号后台回复一下朋友们的留言。本月收到了几百条关于【数据分析师涨薪、跳槽和面试】方面的留言咨询，很多人想趁即将到来的秋招旺季跳槽涨薪。最近有做【数据分析师】的朋友跳槽成功，入职位于深圳南山的现象级互联网大厂，涨薪幅度超过200%！经历过多轮面试，朋友表示大厂最看重的是项目实战经验，特别是对数据的深度分析与挖掘，面试时会反复地围绕真实项目提问。实战项目经验...
2023-08-27 13:00:06
21
转载 巧用ChatGPT快速搞定数据分析
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰能，是以众议举宠为督。关键点用ChatGPT颠覆数据分析，1分钟生成数据分析结果！30多个精心挑选的ChatGPT数据分析案例+50多种ChatGPT数据分析策略涵盖从数据预处理到高级分析的全过程助你在竞争激烈的环境中脱颖而出让AI带...
2023-08-26 09:00:06
67
转载 用 ChatGPT 与 VBA一键搞定 Excel
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。前言 以前的编程学习路径是：学语法→学示例→搜索代码，修改后为己所用→独立写代码。该路径环环相扣，每个环节都需要很多时间，尤其是在搜索代码的时候，尽管Excel Home技术论坛上已经有上百万个实例和解决方案，...
2023-08-25 09:00:32
53
原创 盘点一个Python自动化办公的问题——批量实现文件重命名（方法一）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤蜀道之难，难于上青天，使人听此凋朱颜！大家好，我是皮皮。一、前言前几天在Python最强王者群【维哥】问了一个Python自动化办公处理的问题，一起来看看吧。大佬们，请教一个Python自动化办公的问题，我有一个名为data的文件夹，下面有这4个Excel文件。然后还有一个原始数据.x...
2023-08-24 09:00:36
23
转载 Python爬虫与数据挖掘联合腾讯云开发者给各位程序员送七夕礼啦！
Python爬虫与数据挖掘联合腾讯云开发者给各位程序员送七夕礼啦！点下图，吃瓜程序员圈那些七夕糗事，瓜分5000个萌宠CP主题程序员红包封面、35件电子产品/鹅厂程序员周边，还有4个七夕必备表白神器助攻神器~...
2023-08-23 10:01:06
26
原创 盘点一个pandas读取excel数据并处理的小需求（文末赠书）
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤又闻子规啼夜月，愁空山。大家好，我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个pandas数据处理的问题，一起来看看吧。通过pandas读取excel数据，其中两列是交易的备注信息，对A列数据筛选并把结果输出到C列。如果A列中有['吉利','奔驰','福特']三个字...
2023-08-22 09:00:13
31
原创 通过openpyxl的delete_rows删除了1000多行，但结果表的话这些序号并没有缩减？（文末赠书）...
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤但见悲鸟号古木，雄飞雌从绕林间。大家好，我是皮皮。一、前言前几天在Python最强王者群【鶏啊鶏。】问了一个Python自动化办公处理的问题，一起来看看吧。各位大佬想请教下：原来我的表格序号为2800多行,通过openpyxl的delete_rows删除了1000多行,但结果表的话这...
2023-08-21 09:11:59
78
转载 搞懂大模型的智能基因，RLHF系统设计关键问答
RLHF（ReinforcementLearning with Human Feedback，人类反馈强化学习）虽是热门概念，并非包治百病的万用仙丹。本问答探讨RLHF的适用范围、优缺点和可能遇到的问题，供RLHF系统设计者参考。目录RLHF是什么？RLHF适用于哪些任务？RLHF和其他构造奖励模型的方法相比有何优劣？什么样的人类反馈才是好反馈？RLHF算法有哪些类型、各有何优缺点？RLHF采用...
2023-08-20 09:01:13
48
原创 使用Pandas返回每个个体/记录中属性为1的列标签集合
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤地崩山摧壮士死，然后天梯石栈相钩连。大家好，我是皮皮。一、前言前几天在J哥的Python群【Z】问了一个Pandas数据处理的问题，一起来看看吧。各位群友，打扰了。能否咨询个pandas的处理问题？左边一列id代表个体/记录，右边是这些个体/记录属性的布尔值。我想做个处理，返回每个个体...
2023-08-18 10:53:32
30
原创 Pandas实战——灵活使用pandas基础知识轻松处理不规则数据
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤剑阁峥嵘而崔嵬，一夫当关，万夫莫开。大家好，我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个pandas数据合并处理的问题，一起来看看吧。他的原始数据如下所示：然后预期的结果如下所示：二、实现过程这里【瑜亮老师】给了一个指导如下：原始数据中包含所有所需的信息，但是因为...
2023-08-17 09:01:17
55
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人