![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 73
niubility锐
就是瞎搞搞
让他们说去吧
展开
-
Python爬虫 Scrapy(七)
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。参考示例,主要是针对方法的重写# 注意版本,喝视频方法不一致yield item# 请求之前,在这里可以处理参数等问题# post请求,处理里面参数# get请求注意setting里面还很多全局设置需要查看资料。原创 2023-01-17 10:05:17 · 641 阅读 · 0 评论 -
Python爬虫 Selenium(六)
1.什么是selenium?(1)Selenium是一个用于Web应用程序测试的工具。(2)Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。(3)支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试。(4)selenium也是支持无界面浏览器操作的。2.为什么使用selenium?模拟浏览器功能,自动执行网页中的js代码,实现动态加载。原创 2023-01-17 10:04:15 · 1154 阅读 · 1 评论 -
Python爬虫 JsonPath/BeautifulSoup使用(四)
json解析工具简称: bs4什么是BeatifulSoup?BeautifulSoup,和lxml一样,是一个html的解析器,主要功能也是解析和提取数据优缺点?缺点:效率没有lxml的效率高 优点:接口设计人性化,使用方便文档。原创 2023-01-17 10:03:26 · 313 阅读 · 0 评论 -
Python爬虫urllib库(三)
python自带http请求工具,无需下载。原创 2023-01-17 10:02:06 · 800 阅读 · 0 评论 -
Python 爬虫基础/安装(一)
访问Python官网: https://www.python.org/原创 2023-01-17 10:01:19 · 641 阅读 · 0 评论