HongMeng07-CSDN博客

原创用Jupyter—Notebook爬取网页数据实例15(详讲selenium库)

用selenium库爬取起点中文网小说做个重情人，不谈亏欠，不负遇见！1、引入selenium库from selenium import webdriver2、打开一个谷歌前端驱动browser = webdriver.Chrome()3、获取网页源代码browser.get('https://www.qidian.com/all?chanId=6&subCateId=65&orderId=&style=1&pageSize=20&siteid=1

2020-12-04 01:41:29 5512 4

原创用Jupyter—Notebook爬取网页数据实例14

用selenium库爬取中华英才网校招信息看来都是姚老板的哦，正事差点忘了，上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量zwgs=[]xixl=[]wssj=[]#获取网页源代码for i in range(4): url='http://campus.chinahr.com/qz/p'+str(i)+'/'

2020-12-01 04:09:05 1796 1

原创用Jupyter—Notebook爬取网页数据实例13

用 BeautifulSoup库爬取58同城售房信息58同城上市仪式重要的代码在这哦！#引入requests、BeautifulSoup、 pandas、openpyxl库import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量xq=[]hx=[]mj=[]cx=[]#获取网页源代码for i in range(5): url='https://cd.58

2020-12-01 03:25:03 1650 2

原创用Jupyter—Notebook爬取网页数据实例12

用selenium库爬取58同城售房信息代码呢？咋是这代码来了#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(5): url='https://cd.58.com/ershoufang/pn'+str(i)+'/' brows

2020-12-01 02:58:59 1796

原创用Jupyter—Notebook爬取网页数据实例11

用selenium库爬取安居客售房信息#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(1,6): url='https://shanghai.anjuke.com/sale/p'+str(i) browser=webdriver.

2020-12-01 01:23:08 1095 1

原创用Jupyter—Notebook爬取网页数据实例10

用selenium库爬取优信二手车信息上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量mingcheng=[]gongli=[]diqu=[]#获取网页源代码for i in range(1,6): url='https://www.xin.com/hangzhou/baoma/i'+str(i) browser=

2020-12-01 00:45:12 1386

原创用Jupyter—Notebook爬取网页数据实例8

用selenium库爬取BOSS直聘招聘信息老规矩，直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量gs=[]zw=[]yx=[]syb=[]dy=[]#获取网页源代码for i in range(4): url='https://www.zhipin.com/c100010000-p150407/'+'?page

2020-12-01 00:27:55 1858

原创用Jupyter—Notebook爬取网页数据实例7

用selenium爬取太原链家网啥也不说了，直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量q=[]sq=[]xq=[]mj=[]cx=[]hx=[]yz=[]#获取网页源代码for i in range(1,101): url='https://ty.lianjia.com/zufang/pg'+str(i)

2020-11-19 01:59:41 2319

原创用Jupyter—Notebook爬取网页数据实例6

用selenium库爬取中国红娘网一、爬取过程分析二、代码汇总#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量nicheng=[]diqu=[]hunyin=[]shengao=[]dubai=[]#获取网页源代码for i in range(1,6): url='http://www.hongniang.com

2020-11-17 23:56:26 3862 2

原创用Jupyter-Notebook爬取网页数据实例5

爬取智联招聘（实习生）招聘信息（精简版）一、直接上代码：#主函数import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量cs=[]qymc=[]gw=[]zprs=[]#获取网页源代码的函数for i in range(34): url='https://xiaoyuan.zhaopin.com/search/jn=4&jt=45,47,48,53,54

2020-10-30 00:27:04 3932 1

原创用Jupyter-Notebook爬取网页数据实例4

爬取武侠小说-天龙八部（精简版）一、爬取天龙八部五十章：#三个功能函数，一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding return

2020-10-29 00:21:13 2760

原创用Jupyter-Notebook爬取网页数据实例3

爬取链家网数据（精简版)直接上代码一、爬取太原链家网1页数据：#三个功能函数，一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding re

2020-10-28 19:40:16 2305 1

原创用Jupyter—Notebook爬取网页数据实例1

爬取中国红娘网数据一、爬取过程1、引入requests库，获取网页源代码： 2、引入BeautifulSoup库，解析网页源代码并获取所需数据： 3、利用for循环函数获取网页1页数据：4、利用for循环函数获取网页10页数据（具体获取几页只需修改for循环函数循环次数）：5、引入pandas库，创建列表并将网页数据以列表形式输出：6、引入openpyxl，将爬取网页数据保存至excelb表中（import os—os.getcwd()用于找到数据保存的位置）：2、爬取函数汇

2020-10-28 01:56:05 16783 5

HongMeng07的博客