黑马人工智能就业班之Python爬虫
yuhui_2000
这个作者很懒,什么都没留下…
展开
-
1-7http与https的区别
http协议与爬虫的关系http以及https的概念和区别http协议:内容以明文的形式传输;https协议:内容以加密之后的形式传输http协议:默认端口号是80;https协议:默认端口号是443原创 2021-07-06 20:37:06 · 201 阅读 · 0 评论 -
1-6爬虫的流程
爬虫的流程获取一个url向url发送请求,并获取响应(需要http协议)如果从响应中提取url,则继续发送请求获取响应如果从响应中提取数据,则将数据进行保存原创 2021-07-06 20:26:15 · 157 阅读 · 0 评论 -
1-5爬虫的分类
根据被爬取网站的数量不同,可以分为:通用爬虫,如搜索引擎聚焦爬虫,如12306抢票,或专门抓取某一个(某一类)网站数据根据是否以获取数据为目的,可以分为:功能性爬虫,给你喜欢的明星投票、点赞数据增量爬虫,比如招聘信息根据url地址和对应的页面内容是否改变,数据增量爬虫可以分为:基于url地址变化、内容也随之变化的数据增量爬虫url地址不变、内容变化的数据增量爬虫爬虫的分类...原创 2021-07-06 20:20:39 · 179 阅读 · 0 评论 -
1-4爬虫的作用
招聘网站查询与爬虫作用有关的职位的招聘情况https://www.lagou.com/jobs/list_Python%20%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=1.数据采集抓取微博评论(机器学习舆情监控)抓取招聘网站的招聘信息(数据分析、挖掘)新浪滚动新闻百度新闻网站2.软件测试爬虫之自动化测试虫师3.12306抢票4.网站上的投票投票网5.网络安全短信轰炸注册页原创 2021-07-06 20:13:12 · 105 阅读 · 0 评论