![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫小白
文章平均质量分 85
WOHHH234
这个作者很懒,什么都没留下…
展开
-
爬虫数据存储到数据库/增量爬虫+多级页面获取=====安居客信息爬取
文章目录前言 一、增量爬虫是什么? 二、python数据存储到数据库 三、多级页面的跳转获取 四:遇到的问题以及解决 五:代码 总结前言:这次的爬取内容是安居客网页里面的信息,首先是我爬取的页面是属于需要动态加载,获取到的数据是加载获得到的数据,这次做的主要是将数据存储到数据库的操作,使用跳转页面获取具体的详细数据一、增量爬虫是什么?增量爬虫是将需要爬取的数据保存,在已经存在的数据上面每天都有更新的数据,然而下次获取的数据就是已经跟新的数据,已有的数据变保持不变,...原创 2021-09-06 13:44:09 · 5551 阅读 · 0 评论 -
多线程+多几页面抓取+手动输入招聘岗位==腾讯招聘爬虫
爬虫小白,最近跟着b站的一个up主学习到的技能,在这里如遇大佬请多多指教运行结果:一:多线程:cpu密集的程序适合使用多线程,可以充分利用计算机的多核,平时爬取网络数据的时候都是使用单线程获取数据的速度较慢,多线程就是多条线路执行一个任务返回进程threading模块==============================》》》》线程模块使用流程:T=thread(target=事件函数名)T.start()T.join()#阻塞等待线程,避免堵塞线程的产生...原创 2021-08-31 22:55:44 · 2057 阅读 · 0 评论