![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 60
qwy715229258163
这个作者很懒,什么都没留下…
展开
-
2-网页请求的原理
URL(全称Uniform Resource Locator)又称URL地址,表示统一资源定位符,用于指定因特网上某个资源的位置。[params]?选项说明scheme表示方案,用于标识采用哪种传输协议访问服务器资源user表示用户,用于标识访问服务器资源时需要的用户名password表示密码,用户名后面可能要包含的密码,两者之间以”:”分隔host表示主机地址,也就是存放资源的服务器主机名或IP地址port表示端口号,也就是存放资源的服务器监听的端口号path。原创 2024-07-04 23:55:06 · 585 阅读 · 0 评论 -
1-认识网络爬虫
网络爬虫(Web Crawler)又称网络蜘蛛、网络机器人,它是一种按照一定规则,自动浏览万维网的程序或脚本。通俗地讲,网络爬虫就是一个模拟真人浏览万维网行为的程序,这个程序可以代替真人自动请求万维网,并接收从万维网返回的数据。与真人浏览万维网相比,网络爬虫能够浏览的信息量更大,效率也更高。原创 2024-07-04 22:58:45 · 762 阅读 · 0 评论 -
爬虫如何获取免费代理IP(三)
代理IP爬取。原创 2024-01-03 22:15:03 · 1687 阅读 · 0 评论 -
爬虫如何获取免费代理IP(二)
89IP免费代理爬取代码实现。原创 2024-01-03 21:45:46 · 1428 阅读 · 1 评论 -
爬虫如何获取免费代理IP(一)
获取云代理http://www.ip3366.net/提供的IP。原创 2024-01-03 21:24:17 · 1687 阅读 · 0 评论 -
记录爬虫编写步骤
程序结构# 定义常用变量,比如url或计数变量等# 获取响应内容函数,使用随机User-Agent# 使用正则表达式来解析页面,提取数据# 将提取的数据按要求保存,csv、MySQL数据库等# 主函数,用来控制整体逻辑# 程序开始运行时间注意:掌握以上编程逻辑有助于您后续的学习。原创 2024-01-01 16:43:56 · 1104 阅读 · 0 评论 -
爬虫抓取链家二手房数据
使用 Python 爬虫库完成链家二手房(https://bj.lianjia.com/ershoufang/rs/)房源信息抓取,包括楼层、区域、总价、单价等信息。原创 2023-12-24 20:31:57 · 1987 阅读 · 0 评论 -
记录爬取《猫眼电影》-影名-作者-上映时间代码
【代码】记录爬取《猫眼电影》-影名-作者-上映时间代码。原创 2023-12-24 10:49:32 · 671 阅读 · 0 评论