python爬虫
文章平均质量分 57
不认输的小蜗牛
这个作者很懒,什么都没留下…
展开
-
关于httpx发送multipart/form-data类型的数据
之前使用requests方法提交,按照网上的方法,虽然数据没有问题,但是服务器永远都是报错,经官方文档介绍,如果又要上传文件,又要上传不带文件的信息,需要data,files参数组合。无奈换了一个还在维护的httpx包,终于解决这个头疼的问题了。如果只需要上传带文件的。...原创 2022-08-17 17:29:18 · 639 阅读 · 0 评论 -
使用python将excel数据导入到mysql(或其它)数据库中
前言:本来想先在excel中将数据写好后再通过mysql管理工具将excel数据导入到mysql中的,但是,无论我怎么努力,发现总有些数据导入不进去,弄了几次都没成功,不想在这个地方浪费时间了,于是有了这篇博客。环境:python3.6.8,mysql5.7,openpyxl3.0.1,pymysql第一步,打开excel文件:首先导入相关模块,这里推荐使用openpyxl版本>...原创 2019-12-31 17:53:08 · 2719 阅读 · 4 评论 -
用python实现12306登录、查票(小白都一看就懂的)
看到很多人对12306抢票有着非常大的兴趣,并且本人也感兴趣,所以我就试了下登录,查票,购买还没实现,并且我的方法也不是很理想,推荐给小白学习,并且我也是用最易懂的代码来写,所以说如果你是一位python爬虫小白的话,那这篇文章或许会帮到你注:所有代码在python3.6环境下编写,请留意版本区别先来看看登录吧:Image_url, url_check, url_login...原创 2018-05-10 18:38:44 · 2101 阅读 · 2 评论 -
使用scrapy爬取免费代理ip并存入MongoDB数据库中
鸣谢:刘硕部分代码来源于刘硕编写的《精通scrapy网络爬虫》,在此声明通常,我们在爬取一些较大型的网站的时候,都会遇到一个非常令人头疼的事情,就是他们的反爬机制,稍微爬快一点就被封,真的很难受,爬的太慢了自己等着也烦,所以很多人都会用代理来进行爬取数据,但是,选择一个代理服务器成本比较高,所以对于我们一些平民来说,爬取一些免费的代理ip更适合我们,当然,如果资金充足,你完全可以去购买代理...原创 2018-12-26 18:35:36 · 362 阅读 · 0 评论