爬虫
QTazimi
这个作者很懒,什么都没留下…
展开
-
Python爬虫学习实例(三):定向数据的爬取以及简单的数据分析
题目:股票数据的定向爬虫。目标:获取美股所有股票的代码和美股个股的链接。材料:需要网站东方财富网。东方财富网:股票代码查询一览表 _ 股票行情 _ 东方财富网步骤1:访问东方财富网查看股票信息。步骤2:使用开发者模式打开东方财富网(F12),分析东方财富网股票列表信息。步骤3:根据分析的网页内容编写爬虫步骤4:将爬取结果存储到文件代码:import requestsfrom bs4 import BeautifulSoupimport r..原创 2021-11-15 20:37:42 · 1132 阅读 · 0 评论 -
Python爬虫学习(二):Request库的学习
Requests库主要有七个主要的方法:而我们爬虫一般用的主要是get()方法。其原理主要是:Response对象包含服务器返回的所有信息,也包含请求的Request信息。其中Response对象主要包含以下属性信息,requests.request(method, url, **kwargs)**kwargs: 控制访问的参数,共13个,均为可选项。以下为其列举:params : 字典或字节序列,作为参数增加到url中kv = {'key1': 'valu...原创 2021-11-09 15:27:42 · 820 阅读 · 0 评论 -
Python爬虫学习(一):爬取一个网页并打印
爬虫一般依赖于requests库,首先通过pip或conda命令安装requests库。切换到自己环境所在的终端。输入以下命令:pipinstallrequests / pip install requests然后在自己的环境中导入requests库看会不会报错。importrequests库安装没有问题后开始使用requests库进行第一个Python爬虫。目的爬取百度页面,并且将其打印出来,并消除其打印出来时可能会发生的乱码。以下给出代码:import requ...原创 2021-11-04 16:50:33 · 4059 阅读 · 0 评论