学习实例
文章平均质量分 79
HongMeng07
爱学习的鸿蒙
展开
-
用Jupyter—Notebook爬取网页数据实例15(详讲selenium库)
用selenium库爬取起点中文网小说做个重情人,不谈亏欠,不负遇见!1、引入selenium库from selenium import webdriver2、打开一个谷歌前端驱动browser = webdriver.Chrome()3、获取网页源代码browser.get('https://www.qidian.com/all?chanId=6&subCateId=65&orderId=&style=1&pageSize=20&siteid=1原创 2020-12-04 01:41:29 · 5896 阅读 · 4 评论 -
用Jupyter—Notebook爬取网页数据实例14
用selenium库爬取中华英才网校招信息看来都是姚老板的哦,正事差点忘了,上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量zwgs=[]xixl=[]wssj=[]#获取网页源代码for i in range(4): url='http://campus.chinahr.com/qz/p'+str(i)+'/'原创 2020-12-01 04:09:05 · 1907 阅读 · 1 评论 -
用Jupyter—Notebook爬取网页数据实例13
用 BeautifulSoup库爬取58同城售房信息58同城上市仪式重要的代码在这哦!#引入requests、BeautifulSoup、 pandas、openpyxl库import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量xq=[]hx=[]mj=[]cx=[]#获取网页源代码for i in range(5): url='https://cd.58原创 2020-12-01 03:25:03 · 1761 阅读 · 2 评论 -
用Jupyter—Notebook爬取网页数据实例12
用selenium库爬取58同城售房信息代码呢?咋是这代码来了#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(5): url='https://cd.58.com/ershoufang/pn'+str(i)+'/' brows原创 2020-12-01 02:58:59 · 1888 阅读 · 0 评论 -
用Jupyter—Notebook爬取网页数据实例11
用selenium库爬取安居客售房信息#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量xq=[]hxmj=[]dj=[]zj=[]#获取网页源代码for i in range(1,6): url='https://shanghai.anjuke.com/sale/p'+str(i) browser=webdriver.原创 2020-12-01 01:23:08 · 1157 阅读 · 1 评论 -
用Jupyter—Notebook爬取网页数据实例10
用selenium库爬取优信二手车信息上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量mingcheng=[]gongli=[]diqu=[]#获取网页源代码for i in range(1,6): url='https://www.xin.com/hangzhou/baoma/i'+str(i) browser=原创 2020-12-01 00:45:12 · 1501 阅读 · 0 评论 -
用Jupyter—Notebook爬取网页数据实例8
用selenium库爬取BOSS直聘招聘信息老规矩,直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量gs=[]zw=[]yx=[]syb=[]dy=[]#获取网页源代码for i in range(4): url='https://www.zhipin.com/c100010000-p150407/'+'?page原创 2020-12-01 00:27:55 · 1993 阅读 · 0 评论 -
用Jupyter—Notebook爬取网页数据实例7
用selenium爬取太原链家网啥也不说了,直接上代码#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量q=[]sq=[]xq=[]mj=[]cx=[]hx=[]yz=[]#获取网页源代码for i in range(1,101): url='https://ty.lianjia.com/zufang/pg'+str(i)原创 2020-11-19 01:59:41 · 2419 阅读 · 0 评论 -
用Jupyter—Notebook爬取网页数据实例6
用selenium库爬取中国红娘网一、爬取过程分析二、代码汇总#引入selenium、 pandas、openpyxl库from selenium import webdriverimport pandas as pdimport openpyxl#定义存储变量nicheng=[]diqu=[]hunyin=[]shengao=[]dubai=[]#获取网页源代码for i in range(1,6): url='http://www.hongniang.com原创 2020-11-17 23:56:26 · 4064 阅读 · 2 评论 -
用Jupyter-Notebook爬取网页数据实例5
爬取智联招聘(实习生)招聘信息(精简版)一、直接上代码:#主函数import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxl#定义存储变量cs=[]qymc=[]gw=[]zprs=[]#获取网页源代码的函数for i in range(34): url='https://xiaoyuan.zhaopin.com/search/jn=4&jt=45,47,48,53,54原创 2020-10-30 00:27:04 · 4129 阅读 · 3 评论 -
用Jupyter-Notebook爬取网页数据实例4
爬取武侠小说-天龙八部(精简版)一、爬取天龙八部五十章:#三个功能函数,一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding return原创 2020-10-29 00:21:13 · 2922 阅读 · 0 评论 -
用Jupyter-Notebook爬取网页数据实例3
爬取链家网数据(精简版)直接上代码一、爬取太原链家网1页数据:#三个功能函数,一个主函数import requestsfrom bs4 import BeautifulSoup#1.获取网页源代码的函数def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding re原创 2020-10-28 19:40:16 · 2401 阅读 · 2 评论 -
用Jupyter—Notebook爬取网页数据实例1
爬取中国红娘网数据一、爬取过程1、引入requests库,获取网页源代码: 2、引入BeautifulSoup库,解析网页源代码并获取所需数据: 3、利用for循环函数获取网页1页数据:4、利用for循环函数获取网页10页数据(具体获取几页只需修改for循环函数循环次数):5、引入pandas库,创建列表并将网页数据以列表形式输出:6、引入openpyxl,将爬取网页数据保存至excelb表中(import os—os.getcwd()用于找到数据保存的位置):2、爬取函数汇原创 2020-10-28 01:56:05 · 17940 阅读 · 5 评论