python爬虫实例
文章平均质量分 62
xmh_1997
这个作者很懒,什么都没留下…
展开
-
沪深上证所有股票代码抓取(系列一)
沪深上证所有股票代码抓取(系列一)这个比较简单直接上代码这个比较简单直接上代码from selenium import webdriverimport pymysqlimport redef main(): urls = ['https://www.banban.cn/gupiao/list_sh.html', 'https://www.banban.cn/gupiao/list_sz.html', 'https://www.banb原创 2021-03-16 23:28:39 · 2489 阅读 · 0 评论 -
python selenium抓取网页源码与看到的内容不一致 解析
python selenium抓取网页源码与看到的内容不一致以天眼查一个公司的信息为例显示内容与源码不一致,很明显使用了加密进行font文件查看是不是这里面动了手脚如何解决这个问题呢?以天眼查一个公司的信息为例网站地址:https://www.tianyancha.com/company/100360072网页核准日期显示的时间如下:结果发现信息不一致, 为什么不一样??显示内容与源码不一致,很明显使用了加密当时猜测的是应该是在字体上动了手脚,然后就查看了一下,总共有两个font文件。进行原创 2021-02-08 11:22:03 · 5473 阅读 · 6 评论 -
python爬虫:爬取拉勾网北京数据挖掘职位并分析
前言拉勾网爬取北京数据挖掘职位的职位信息,并以CSV格式保存至电脑,之后进行数据清洗,生成词云,进行描述统计,最终得出结论。 1. 用到的软件包Python版本: Python3.5 requests:下载网页math:向上取整time:暂停进程pandas:数据分析并保存为csv文件matplotlib:画图statsmodels:统计建模wordcloud、scipy、jieba:生成中文词云...原创 2018-06-18 17:33:38 · 2105 阅读 · 1 评论