![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
吃苹果的程序猿
这个作者很懒,什么都没留下…
展开
-
基于selenium爬取带有iframe/frame标签的网站数据
URL:http://code.nhsa.gov.cn:8000/search.html?sysflag=80如图所示, 将左边每一章的数据都爬取下来网站结构特点:该网站有个特点, 点一下左边的章节,这一章的所有数据都会在右边展现出来,所以这个网站有两iframe标签嵌套组成,一个是最大的包含的所有章节以及包含存储每一张数据的小的iframe标签, 一个是右边根据点击的章节包含该章节...原创 2020-03-24 15:31:52 · 4648 阅读 · 0 评论 -
爬虫之爬取“最好大学排名”并以Excel表格形式打印出来
#!usr/bin/python# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoupfrom requests.exceptions import RequestExceptionimport refrom lxml import etreeimport pandasurl = "htt...原创 2019-04-07 20:42:33 · 1367 阅读 · 0 评论 -
爬虫爬取图片(女生切勿点开)
#!usr/bin/python# -*- coding: utf-8 -*-import bs4import requestsfrom bs4 import BeautifulSoupimport webbrowserimport reimport easyguifrom lxml import htmlfrom lxml import etreenum = 0...原创 2019-04-07 20:43:30 · 2802 阅读 · 0 评论 -
爬虫之爬取新浪新闻
#-*- coding:utf-8 -*-import requestsimport jsonimport pandas as pdheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/61.0'}res = requests.get('https://feed.sin...原创 2019-04-08 11:17:54 · 607 阅读 · 2 评论