爬虫与数据处理
介绍爬虫与数据处理的一些基本操作
加油加油再加油x
这个作者很懒,什么都没留下…
展开
-
【python】B站视频批量导出MP4格式
前言前段时间我买了一个平板,但是不得不说,实在是是太卡了(某多多平台购买)甚至连b站都打不开,上网太卡。尽管有个大屏幕。。。所以视频啥的只能下载观看。电脑下载b站视频没倒腾明白,不过肯定不能直接下载,然后我就用手机下载,然后导出为MP4,然后再传到平板上,本文将着重讲解后者。前期准备下载ffmpeg,windows下载地址戳我准备好python环境python 2 3 均可第一步 解压ffmpeg解压如下:然后,电脑连接手机(视频已经提前下载好),找到视频文件目录( 我的是内原创 2020-12-21 16:05:27 · 1178 阅读 · 4 评论 -
【数据处理】python实现excel表格的处理(班级投票统计)
前言前一阵,班级里面需要整一个互评活动。每个人都得给不同的人打分原创 2020-05-10 21:16:50 · 1365 阅读 · 0 评论 -
【python爬虫】centos8中使用selenium获取网页的信息为空的解决办法
问题在做python爬虫的时候,需要请求一个缺少证书网站,然后很奇怪,返回的driver.page_source只是一个架子,没有内容,如下<html><titile></titile><body></body></html>解决办法加入以下代码from selenium.webdriver import Desi...原创 2020-04-26 21:05:25 · 1869 阅读 · 0 评论 -
【爬虫】google浏览器+requests获取火车票信息
前言今天用google浏览器试着抓了一下包,感觉很有意思,做了一个小demo。抓包所谓抓包,按照我的理解,就是获取浏览网站时的各个请求。通过google浏览器可以进行查看这些包。如下下面来介绍一下怎么调出这个界面来。(大佬请忽略)登录携程网,点击导航栏火车,按一下F12(出现如上图右边部分)然后点击network,network中中对不同的请求进行分类如下xhr我的理解是请求一...原创 2020-05-05 18:58:15 · 1653 阅读 · 0 评论 -
【python爬虫】爬取QQ空间说说
前言虽然扒qq空间不是很地道,但咱还是干干吧……正好也是闲来无事,我这个应该不会被别人发现 tao)技术路线selenium + beautifulsoup + pyautoguiselenium模拟浏览器beautifulsoup解析文本pyautogui 负责下拉需要注意的点QQ空间在加载的时候,是一部分一部分加载的。也就是说当下拉到最底的时候,才可以在网页中刷新出来新的...原创 2020-04-30 14:07:42 · 2951 阅读 · 6 评论