晴天键盘侠-CSDN博客

原创 python在爬取微信公众号的文章时，你可能踩过的坑我都帮你踩了（下）

python在爬取微信公众号的文章时，你可能踩过的坑我都帮你踩了（下）三、获取每篇文章的阅读量，点赞量四、使用UA代理、IP代理，设置每篇文章的爬取速度最近一直在忙没时间更新文章的下一篇，正好这几天有时间，把代码重新调整了一下，更新了里面的细节，在调整代码中发现了许多问题，主要一个就是ip代理的质量不行，哪里不行呢，往下看就知道了。三、获取每篇文章的阅读量，点赞量四、使用UA代理、IP代理，设置每篇文章的爬取速度...

2020-08-13 12:27:08 2035 18

原创 python在爬取微信公众号的文章时，你可能踩过的坑我都帮你踩了（上）

最近因为公司的需要获取一些微信公众号的文章内容，阅读量还有发布的时间等出来对比分析，开始以为挺简单，因为网上有大量的案例，但是真正做起来都是问题。一、登录微信公众平台获取cookies二、爬取一个公众号中的文章名和链接二、爬取每篇文章的阅读量首先整理一下思路：1.要想获取公众号的文章，首先需要在微信公众平台有个账号，2.找到搜索公众号的位置（这个位置在：素材管理-新建图文消息-超链接），3.抓包工具（我用的是fiddler）获取请求headers的必要参数，通过这步我们就可以获取公众号的文章链接，4.根据

2020-07-21 19:25:18 2674 2

原创 pip安装包时总是出现time out问题的解决方法

pip安装包时总是出现time out问题的解决方法最近在用pip安装软件的时候总是非常的慢，有时候还会出现安装超时的提示，在网上看到很多的解决办法，自己总结了一下pip install 包名，用这个安装，默认是国外的源，下载的包非常慢，解决办法一：在window下面的话，我们可以通过新建pip文件夹，然后新建pip.int文件，设置pip.int里面的配置：我们可以通过记事本的形式将文件打开添加配置信息通过这种方法就可以让pip 的源改变了第二种方法：在安装软件的时候，指定源的位置，一

2020-05-21 13:46:05 2007

原创 python爬数据存到mysql中显示Incorrect string value: ‘\\xE5\\xBF\\xB5\\xE6\\x88\\x90‘ for column ‘**‘ at row 1

最近爬数据存储到mysql中，遇到一个棘手的问题，在中文字段存储的时候总是报错：这个问题网上查了是编码的错误，自己也写代码测试了一下，果真如此，只要存储含有中文字段的时候，就会出现报错，而在英文状态下就不会出现这种错误，只恨mysql不是中国先开发的下面展示一下我的测试代码：import pymysqlimport MySQLdbname=["hello","hehe","liwang","念成"]age=[20,30,50,25]conn = pymysql.connect(host=

2020-08-27 15:02:33 470

转载如何解决安装MySQL后没有 my.ini 本地配置文件

安装mysql后在安装目录下没有my.ini文件。（我的是后来复制粘贴过去的。）**在安装目录的顶层目录（以我的为例，我的就在c盘的根目录）中找到 program data 文件夹（该文件夹默认为隐藏文件夹） ...

2020-08-26 14:40:38 973

转载 MySQL5.7.24安装配置（图文超详细教程）

mysql安装详情，解决在安装中遇到的问题首先下载MySQL 我用的是5.6的，因为刚开始装5.7失败，所以换成5.6就成功了打开下载链接：https://dev.mysql.com/downloads/windows/installer/5.7.html点击Download进行下载弹出页面点击No thanks进行下载下载下来的文件名是 mysql-installer-community-5.7.24.0.msi双击文件名称进行安装如果提示如下错误说明.NET4.5.2未安装需要

2020-08-25 17:02:56 1165

原创 python使用PIL库将登陆验证码二阀值，调用百度识图接口baidu-aip进行验证码文字的获取，自动登录再也不怕遇到验证码登录啦

在使用selenium自动登录某个网站进行数据爬取的时候，在需要登录的时候都会遇到图片验证码的问题，下面给大家分享一下如何识别图片验证码。思路：获取登录验证码图片>>>将验证码二阀值处理>>>图片交给百度AI识图>>>识别文字交给selenium进行自动登录在开始之前，我们需要去百度AI平台注册一个账号，链接: https://ai.baidu.com/.这个只要注册个账号进去就可以了，然后点击控制台-文字识别下面我们需要创建一个应用：点进去

2020-06-09 18:11:24 268

原创 python在app端爬数据post请求踩过的坑

最近在用python做手机app端的爬取的时候，post请求遇到的JSONparse error: Unrecognized token ‘appVersion’: was expecting（‘true’, ‘false’ or 'null）报错解决办法。下面展示一些内联代码片这里已经拼接好请求头，data发送的数据是字典格式。data={"appVersion":"4.3.0","specialId":"{}".format(510943),"deviceId":"100d855909297978

2020-06-04 17:20:47 1076 2

原创爬虫通过python的request，re，Beautifuisoup包进行菜鸟教程页面数据的爬取

关于用request，结合Beautifulsuop进行页面数据的爬取。最近在学习爬虫的过程中，学习到了Beautifulsuop的使用，这个包非常强大，如果你对前端的页面不是很熟悉，没关系他可以帮你找出页面中想要的标签，话不多说了上代码。下面介绍的是爬取：菜鸟教程python3教程的代码：下面展示一些内联代码片。import requests,refrom bs4 import BeautifulSoupdef get_html(): url='https://www.runo

2020-05-21 15:35:47 518

晴天的博客