- 博客(13)
- 问答 (1)
- 收藏
- 关注
原创 用Jupyter—Notebook爬取网页数据实例15(详讲selenium库)
用selenium库爬取起点中文网小说做个重情人,不谈亏欠,不负遇见!1、引入selenium库from selenium import webdriver2、打开一个谷歌前端驱动browser = webdriver.Chrome()3、获取网页源代码browser.get('https://www.qidian.com/all?chanId=6&subCateId=65&orderId=&style=1&pageSize=20&siteid=1
2020-12-04 01:41:29
5886
4
原创 用Jupyter—Notebook爬取网页数据实例14
用selenium库爬取中华英才网校招信息看来都是姚老板的哦,正事差点忘了,上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量zwgs=[]xixl=[]wssj=[]#获取网页源代码for i in range(4): url='http://campus.chinahr.com/qz/p'+str(i)+'/'
2020-12-01 04:09:05
1903
1
原创 用Jupyter—Notebook爬取网页数据实例13
用 BeautifulSoup库爬取58同城售房信息58同城上市仪式重要的代码在这哦!#引入requests、BeautifulSoup、 pandas、openpyxl库import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量xq=[]hx=[]mj=[]cx=[]#获取网页源代码for i in range(5): url='https://cd.58
2020-12-01 03:25:03
1754
2
原创 用Jupyter—Notebook爬取网页数据实例12
用selenium库爬取58同城售房信息代码呢?咋是这代码来了#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(5): url='https://cd.58.com/ershoufang/pn'+str(i)+'/' brows
2020-12-01 02:58:59
1885
原创 用Jupyter—Notebook爬取网页数据实例11
用selenium库爬取安居客售房信息#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(1,6): url='https://shanghai.anjuke.com/sale/p'+str(i) browser=webdriver.
2020-12-01 01:23:08
1154
1
原创 用Jupyter—Notebook爬取网页数据实例10
用selenium库爬取优信二手车信息上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量mingcheng=[]gongli=[]diqu=[]#获取网页源代码for i in range(1,6): url='https://www.xin.com/hangzhou/baoma/i'+str(i) browser=
2020-12-01 00:45:12
1499
原创 用Jupyter—Notebook爬取网页数据实例8
用selenium库爬取BOSS直聘招聘信息老规矩,直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量gs=[]zw=[]yx=[]syb=[]dy=[]#获取网页源代码for i in range(4): url='https://www.zhipin.com/c100010000-p150407/'+'?page
2020-12-01 00:27:55
1986
原创 用Jupyter—Notebook爬取网页数据实例7
用selenium爬取太原链家网啥也不说了,直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量q=[]sq=[]xq=[]mj=[]cx=[]hx=[]yz=[]#获取网页源代码for i in range(1,101): url='https://ty.lianjia.com/zufang/pg'+str(i)
2020-11-19 01:59:41
2416
原创 用Jupyter—Notebook爬取网页数据实例6
用selenium库爬取中国红娘网一、爬取过程分析二、代码汇总#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量nicheng=[]diqu=[]hunyin=[]shengao=[]dubai=[]#获取网页源代码for i in range(1,6): url='http://www.hongniang.com
2020-11-17 23:56:26
4062
2
原创 用Jupyter-Notebook爬取网页数据实例5
爬取智联招聘(实习生)招聘信息(精简版)一、直接上代码:#主函数import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量cs=[]qymc=[]gw=[]zprs=[]#获取网页源代码的函数for i in range(34): url='https://xiaoyuan.zhaopin.com/search/jn=4&jt=45,47,48,53,54
2020-10-30 00:27:04
4126
3
原创 用Jupyter-Notebook爬取网页数据实例4
爬取武侠小说-天龙八部(精简版)一、爬取天龙八部五十章:#三个功能函数,一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding return
2020-10-29 00:21:13
2919
原创 用Jupyter-Notebook爬取网页数据实例3
爬取链家网数据(精简版)直接上代码一、爬取太原链家网1页数据:#三个功能函数,一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding re
2020-10-28 19:40:16
2399
2
原创 用Jupyter—Notebook爬取网页数据实例1
爬取中国红娘网数据一、爬取过程1、引入requests库,获取网页源代码: 2、引入BeautifulSoup库,解析网页源代码并获取所需数据: 3、利用for循环函数获取网页1页数据:4、利用for循环函数获取网页10页数据(具体获取几页只需修改for循环函数循环次数):5、引入pandas库,创建列表并将网页数据以列表形式输出:6、引入openpyxl,将爬取网页数据保存至excelb表中(import os—os.getcwd()用于找到数据保存的位置):2、爬取函数汇
2020-10-28 01:56:05
17913
5
空空如也
数据结构java版转化为Python版
2021-01-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人