爬虫
celine11111
这个作者很懒,什么都没留下…
展开
-
爬虫 - 股票爬虫实例之腾讯证券
这里用的网站是腾讯证券,更详细的版本参考另一篇爬雪球网站股票:import bs4from bs4 import BeautifulSoupimport requestsimport reimport pandas as pd#获取网页源代码def gethtml(url): try: kv = {'User-Agent':'Mozilla/5.0'} r = requests.get(url,headers=kv,timeout=30)原创 2020-06-07 19:05:57 · 2329 阅读 · 0 评论 -
爬虫-股票爬虫细节说明版【初学者入】
完整的股票爬虫记录见这篇文章:这里是一个简洁版的,方便初学者更详细的讲解爬虫细节:股票列表从东风财富获取,个股信息从雪球网获取首先,我们先看看雪球网的个股信息,这里我们截图格力电器代码查看;注意我们最终要查的是所有的个股信息仔细查看可知,每一个个股第一个父标签都是<div class="container-sm float-left stock__main">,后面是子标签,包括各种分类信息,如股票名称,今开,最高等等,我们先拷贝一段简洁代码做基础演示说明;s = '''&l原创 2020-06-05 21:30:40 · 1466 阅读 · 0 评论 -
爬虫 - 股票爬虫实例之雪球网
视频连接:https://www.bilibili.com/video/BV1kx411S7Fh?p=47跟着老师做的,但是老师讲的百度股票已经没有了,所以用雪球网替代了,不过没有输出,也没有报错,请大神帮忙看看什么问题,谢谢!import reimport requestsfrom bs4 import BeautifulSoupdef getHTMLText(url,header)...原创 2020-04-12 17:30:08 · 5501 阅读 · 5 评论 -
淘宝商品价格爬取并保存文件
是跟着b站的北京理工大学视频学爬虫,编辑的,完了觉得挺简单的,老师的是打印出来就行,下面代码是,写入文件,保存到本地。相关视频:https://www.bilibili.com/video/BV1kx411S7Fh?p=44其他参考过的优秀代码:https://blog.csdn.net/Guanhai1617/article/details/104120581更新模块思路:需要导入pand...原创 2020-04-07 23:01:52 · 1781 阅读 · 5 评论