理解爬虫原理

最新推荐文章于 2024-09-14 14:25:22 发布

anduhua0932

最新推荐文章于 2024-09-14 14:25:22 发布

阅读量130

点赞数

文章标签：爬虫 json 大数据

原文链接：http://www.cnblogs.com/zy5250/p/10606808.html

版权

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851

1. 简单说明爬虫原理

答：从本质层面来说就是在众多大数据面前提取出有用有价值的数据，方便我们去提取使用。从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用；

2. 理解爬虫开发过程

1).简要说明浏览器工作原理；

发送请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json等类型
解析内容：得到的内容可能是HTML，可以用正则表达式、页面解析库进行解析，可能是Json，可以直接转为Json对象解析
保存数据：保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。

2).使用 requests 库抓取网站数据；

3).了解网页

　　写一个简单的html文件，包含多个标签，类，id

html_sample='\
<html>\
<body>\
<h1 id="title">Hello</h1>\
<a href="#"class="link">This is link1</a>\
<a href="#link2"class="link"qao=123>This is link2</a>\
</body>\
</html>'

4).使用 Beautiful Soup 解析网页；

　　通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

　　select（选择器）定位数据

　　找出含有特定标签的html元素

　　 header=soup.select('h1')

　　找出含有特定类名的html元素

　　 b=soup.select('.link')

　　找出含有特定id名的html元素

　　 t=soup.select('#title')

3.提取一篇校园新闻的标题、发布时间、发布单位

url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'

转载于:https://www.cnblogs.com/zy5250/p/10606808.html

anduhua0932

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫