![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 56
半岛铁盒@
打油!干饭人!
展开
-
python-豆瓣电影 Top 250,电影名称,年份,评论人数,评分
对代码有疑问的可评论留言# -*- coding: utf-8 -*-import jsonimport reimport requestsimport csvif __name__ == '__main__': #UA伪装:将对应的User-Agent封装到一个字典中 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like原创 2022-03-13 11:59:35 · 1774 阅读 · 0 评论 -
python爬虫 -- 正则表达式 与 Re模块的介绍
Regular Expression,正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则.爬虫中我们抓取到的网页源代码本质上就是一个超长的字符串,想从里面提取内容.用正则再合适不过了.正则的语法: 使⽤元字符进⾏排列组合⽤来匹配字符串元字符具有固定含义的特殊符号常⽤元字符1 . 匹配除换⾏符以外的任意字符, 2. \w 匹配字⺟或数字或下划线3. \s 匹配任意的空⽩符4 \d 匹配数字5 \n 匹配⼀个换⾏符6 \t 匹配⼀个制表符78 ^ 匹配字符串的开始9 $ 匹原创 2022-03-09 19:35:05 · 853 阅读 · 0 评论 -
Java爬虫技术(二)爬取京东iPhone商品信息并生成Json日志
准备配置maven环境下载浏览器驱动,并引入;下载浏览器驱动前往华为云镜像站下载谷歌浏览器驱动https://mirrors.huaweicloud.com/home 要下载与自己电脑上谷歌浏览器版本相匹配的;引入pom.xml依赖 <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>seleni原创 2021-12-15 13:33:08 · 2035 阅读 · 0 评论 -
Java爬虫技术(一)普通网站爬取图片
爬虫简单介绍用户和网站服务器的操作如下而爬虫需要做的是模拟仿照用户机,去向服务器发送请求数据,并接受响应数据,接着去解析数据,获得我们想要的数据步骤大致分为准备好要爬取的网址定义爬虫的参数开始爬获取爬取的数据使用xpath技术去解析数据获取我们想要的数据准备新建一个maven项目,并配置pom.xml爬虫jar包工具,jsoup<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <原创 2021-12-14 14:10:55 · 3350 阅读 · 3 评论