慧慧努力学编程-CSDN博客

原创爬虫百度返回“百度安全验证”解决方案

在爬取http://mbd.baidu.com/newspage/data/dtlandingwise?sourceFrom=share_ugc&nid=dt_5081303661936210764"时遇到安全验证，在请求头里加了cookie,Accept等，依然无法解决。2.按照获取cookie的方法，将'User-Agent'、'Accept'、'cookie'复制下来，加到headers里，成功解决问题。1.打开这个网站后用自己的账号登录。

2024-04-19 11:11:47 779 2

原创阿里云物联网平台调用API 错误：iot.Sre.IotInstanceAccessForbidden

错误原因是传入的id和secret不正确，不知道是不是环境变量写错了。把这两个直接赋值就行，就不用环境变量导入了。这个错误码搜不到，费了老劲了。

2024-03-28 22:33:02 190 1

原创问卷星自动填写代码(可控制信效度)+Python Selenium(使用Xpath定位)

可知div后面跟着的数字是题号，而//*[@id="div1"]/div[2]/div[3]/span/a中的3表示第几个选项。则单选题答题代码为：titleNum为题号，pointed为要选择的选项。联系QQ：2961942972。

2024-03-14 15:25:33 526

原创 QT引入第三方库qrencode

在QT里引入第三方库qrencode的具体操作

2023-08-30 15:10:47 382

python爬取微博一二级评论数据代码（需设置cookie）

这段Python代码是一个微博评论爬虫，它主要用于抓取微博的一级评论和二级评论，并将抓取的数据保存到CSV文件中。下面是代码的详细描述：导入模块：代码首先导入了所需的模块，包括json、csv、re（正则表达式）、requests（发送HTTP请求）、time（暂停执行）、pandas（数据处理）、os（操作系统功能）和datetime（日期时间处理）。获取网页源码：get_html 函数通过HTTP请求获取给定URL的网页源码，并设置了User-Agent和Referer头，以模拟浏览器访问。它还包含了一个时间延迟，以避免因频繁请求而被服务器限制访问。清理HTML标签：get_string 函数用于从HTML内容中提取纯文本，移除所有HTML标签。保存评论数据：save_text_data 函数将评论数据保存到CSV文件中。它首先创建一个包含评论数据的字典，然后将其转换为pandas的DataFrame。如果CSV文件已存在，则在追加数据时不添加表头；如果文件不存在，则添加表头。数据以UTF-8编码格式保存。时间转换：trans_time 函数用于将微博评论的时间

2024-04-18

Python 豆瓣爬取电影短评(最多爬取500多条短评）字段:评价等级、用户来自地区、评论时间、短评内容

注意：需要设置cookie,并且替换网址(自己要爬的) 导入模块：代码开始部分导入了多个Python模块，包括正则表达式、CSV文件处理、时间处理、请求处理、网页解析、词云生成、数据可视化等模块。登录Cookie和反爬虫：设置了用于登录的Cookie和HTTP请求的User-Agent头部，以模拟浏览器行为，防止被网站阻止爬取。初始化数据结构：定义了几个列表，用于存储从网页上爬取的短评文本、评价等级、用户所在地区和评论时间。获取影评：get_comments函数通过发送HTTP请求到豆瓣电影的短评页面，使用BeautifulSoup解析HTML内容，提取短评文本、评价等级、用户所在地区和评论时间，并将这些数据添加到相应的列表中。预处理文本：preprocess_text函数用于清理短评文本，移除标点符号和其他无关字符。保存词频结果：save_word_counts_to_csv函数将词频分析的结果保存到另一个CSV文件中。

2024-04-06

Python 爬虫爬取微博签到数据爬取上限1000条（只能爬取具体地名如：成都欢乐谷，无法爬取城市，比如：成都、北京）

Python 爬虫爬取微博签到数据爬取上限1000条，爬取数据字段有：页码、微博id、微博bid、微博作者、发布时间、微博内容、签到地点转发数、评论数、点赞数。注意：如果爬取过程中中途错误，就跳过错误那页，继续爬，直到连续几页都是页面为空，这个代码最多能爬1000条（大概就是100多页就可以停了，后面都是重复数据）

2024-04-06