爬虫
文章平均质量分 58
胖子是个潜力股
这个作者很懒,什么都没留下…
展开
-
chromedriver.exe安装
这个安装是不需要配置环境变量的,我看见有些博主是有搞哪个环境变量。第一步:进入chromedriver官网:https://npm.taobao.org/mirrors/chromedriver第二步:根据浏览器的版本下载对应的压缩包,我们用的是谷歌浏览器。点击浏览器右上角三个点: > 帮助 > 关于Google chrome -- 94.0.4606.54 根据这个数字去找对应的版本工具第三步:找到之后点进去: linux, mac win -- 94.0.4606.54.原创 2021-10-09 12:06:14 · 8734 阅读 · 0 评论 -
selenium使用大全
selenium使用 使用selenium有一个硬性条件,1;使用Google浏览器 2:下载chromedrive.exe工具。驱动的下载地址如下:http://chromedriver.storage.googleapis.com/index.html查看浏览器的版本:浏览器右上角三个点: > 帮助 > 关于Google chrome-- 89.0.4389.90 根据这个数字去找对应的版本工具-- 找到之后点进去: linux, mac win-- 89.0..原创 2022-04-10 17:34:52 · 4324 阅读 · 0 评论 -
广城云服务实现每天定时填写一日一报
基于python实现的一日一报学校的小程序更新了,所以我们的代码也要稍微改一下。我这边重新抓包一下,先打开我们的Charles,在将我们分享到文件传输助手的广城云服务打开。我们通过些文本信息可以知道这个是我们的所需要抓包的小程序。这次学校小程序进行了大改,域名都改了。但是对于我们来说丝毫不影响,原理都一样。我们实现自动填报的原理是模拟正常用户发送数据包到他们后台数据。我们正常用户访问的网页是通过get请求去获取数据的,而,我们提交数据用的就是post请求,我们要做的是使用post请求发送..原创 2022-04-14 22:57:14 · 715 阅读 · 0 评论 -
广城云服务使用代码实现一日一报
在前一篇文章中我们已经知道广城云服务提交的URL,不知道如何获取的同学可以看我前一篇文章。小程序主页URL: https://g.hc-web.cn/api/index/login 使用的是post请求 :点击我的健康卡:获取之前的填报信息URL: https://g.hc-web.cn/api/index/getDay点击每日记录(一日一报)URL = https://g.hc-web.cn/api/index/getDayInfo提交表单数据:url = https://g.原创 2022-03-20 16:18:50 · 137 阅读 · 2 评论 -
淘宝销量获取
想爬取什么数据你们可以在文章下面评论一下,我好锻炼一下自己的爬虫能力,当然源码会给你们放出来。我们今天就使用自动化爬取数据,自动化的话就是人可以怎么操作,机器就可以怎么操作。用到的工具chromedrive.exe,下载地址:https://npm.taobao.org/mirrors/chromedriver。这个工具下载安装好后要把这个chromedriver.exe复制到跟你的解释器同一目录之下cmd 中 where python, chromedriver.exe 跟 python.exe(指原创 2021-10-09 10:28:26 · 490 阅读 · 0 评论 -
python天气语音播报
今天的小项目是一个天气播报,项目效果是点击运行就读出今天的天气。那么我们可以分两步走,第一个:先爬取到今天的天天气内容,第二步:电脑读出今天的天气内容想要电脑读出内容,就用到一个第三方库叫pyttsx3 ,安装和其他第三方库一样,在cmd里面输入pip install pyttsx3第一步:爬取天气,选择的是:https://tianqi.2345.com/...原创 2021-10-11 15:21:13 · 388 阅读 · 0 评论 -
广城云服务抓包(Charles抓包)
抓包?为什么要抓包, 为了实现程序自动化,为了爬虫。Charles 是我用过最好用的抓包工具,安装过程也很简单安装过程可以看这篇文章抓包工具Charles下载安装使用_Lucky52hz的博客-CSDN博客_charles下载。安装可以到官网安装,Charles安装步骤及其简单,这里就不写了,安装好后是英文版的,汉化包链接:https://pan.baidu.com/s/1LxoYGK3T5uLDji3YEx3oaA提取码:1234 汉化包如何使用我也放在里面了。在电脑中找到Char...原创 2022-03-20 15:50:03 · 3366 阅读 · 2 评论 -
将淘宝爬取的数据写入Excel表格
我们上一篇文章已经获取到淘宝的数据写入了.json文件。现在我们就可以写入Excel表格。运行结果是这样子的。from selenium.webdriver import Chromeimport timefrom lxml import etreeimport jsonimport xlwt#导包if __name__ == '__main__': chrome_obj = Chrome() #因为是个类,所以要创建一个对象。 chrome_obj.ge.原创 2021-10-09 15:15:58 · 1418 阅读 · 0 评论 -
scrapy 框架的认识(1)
scrapy框架介绍:scrapy 框架是一个爬虫框架,是为了提高爬虫效率开发的框架。可以通过redis数据库实现分布式爬虫,(分布式爬虫是将爬虫程序url分布到其他电脑进行爬虫程序)。scrapy框架安装同样是在命令行运行:pip install scrapy -i https://pypi.douban.com.simple会把辅助框架一起给下载了,scrapy 框架基础命令介绍:第一步:cmd创建scrapy爬虫项目:scrapy startproject 项目名称xxx (如:s原创 2022-05-11 11:19:49 · 163 阅读 · 0 评论