![](https://img-blog.csdnimg.cn/2020050817364868.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
网络爬虫【基础设施】
文章平均质量分 56
网络爬虫
博士僧小星
985博士研究生
展开
-
人工智能|网络爬虫——用Python爬取电影数据并可视化分析
1.2016年-2019年电影数量逐渐增大,2019年达到最大值,从2020年开始迅速逐年下降。2.发布电影数量最多的国家是中国和美国。3.电影类型最多的剧情片。4.电影片长呈正态分布,且片长和评分呈正相关关系。原创 2023-12-05 00:05:21 · 20185 阅读 · 2 评论 -
网络爬虫|Selenium——find_element_by_xpath()的几种方法
网络爬虫|Selenium——find_element_by_xpath()的几种方法原创 2023-11-21 23:00:09 · 1651 阅读 · 0 评论 -
网络爬虫 | 猫眼电影最受期待榜信息抓取 —— 基于multiprocessing / re(多进程/正则表达式)
import reimport requestsfrom requests.exceptions import RequestExceptionimport multiprocessingimport randomheaders = {'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.151 Safari/.原创 2020-07-02 18:24:52 · 330 阅读 · 0 评论 -
网络爬虫 | 腾讯招聘信息采集——基于Python中Scrapy框架
1.爬虫项目工具:①PyCharm集成开发环境②Google浏览器③Google浏览器插件:xpath helper, json viewer视图插件2.命令行scrapy重要参数:①check : 检查项目,并由crawl返回②crawl : 运行爬虫抓取数据③edit :通过编辑器编辑爬虫文件④fentch :使用Scrapydownlo...原创 2020-05-18 15:52:15 · 1383 阅读 · 3 评论 -
网络爬虫 | 京东全站数据采集(类目、店铺、商品、评论)——基于Python中Scrapy框架
123原创 2020-05-11 18:12:53 · 2487 阅读 · 16 评论