URLConnection抓取万方数据上的文献数据

最新推荐文章于 2024-06-11 15:53:02 发布
最新推荐文章于 2024-06-11 15:53:02 发布
阅读量1.6k 收藏 2
点赞数 1
分类专栏： JavaWeb 文章标签： JavaWeb 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GGeniusProgrammer/article/details/70242492
版权

今天在做Web项目中有一个功能需要从网上数据源获取文献数据，于是想到可以使用URLConnection类来实现。


主要思路：通过URLConnection工具类发送get请求，得到整个html页，将其读入Java程序中，对页面结构进行分析后，用正则表达式获取其中的数据。


首先分析万方的url结构，如搜索关键词“software”的相应url为

http://s.wanfangdata.com.cn/Paper.aspx?q=software&f=top&p=1


参数q即关键词，p为页面，可以用字符串拼接的方式自定义这两个字段。


最低0.47元/天 解锁文章
吉尼尔斯珀瓜摩
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
万方论文基本数据爬取
weixin_47431173的博客
01-29 998
爬取万方论文数据基本信息 代码1 #import ``` from selenium import webdriver from lxml import etree import time import re import pandas as pd from selenium.webdriver.chrome.options import Options import matplotlib.pyplot as plt import numpy as np from pandas import DataF
抓取万方数据内海量论文
weixin_34148508的博客
04-13 932
为什么80%的码农都做不了架构师？>>> ...
【万方数据库爬虫简单开发（自用）】
最新发布
qq_51502732的博客
06-11 1307
先获取搜索框的id,在搜索框上右键->selectorsHub->copy id.selectorsHub是一个很好用的edge浏览器扩展，功能丰富，直接在edge扩展商店搜索即可。driver.switch_to.window(windows[-1])这句话是为了保证后面的BeautifulSoup获取到的信息来自当前页面而不是网站首页。这样我们就获取到文章的标题信息了。可以看到文章标题在class='adjust’下的span标签里边。注意这里的EC是导入的包起的别名。
“万方论文”爬取、数据清洗、以及利用word2vec训练model
dreamtheworld1的博客
06-09 3230
Chapter1   关于“万方论文”的论文爬取与数据清洗tips1：爬取数据【背景】此爬虫是爬取万方自己设定的主题相关文献的“title”、“abstract”、“link”、”author“、”date“、”keywords“、”link“等信息【准备内容】爬虫原链接为  https://github.com/EachenKuang/wanfangSpider 项目上修改版。修改内容如下：将所...
学习笔记之万方数据爬取
zhangye_2017的博客
12-18 2185
最近帮老师做个项目，需要用到文章摘要和关键词数据集。网上找了一下，没有很适合我的，所以自己写了一个小程序爬取了一些。现在把程序记录起来，供以后学习和需要的朋友使用。            # coding:utf-8 import urllib2 import re import time  #获取大的标签url def page_link_1(url_1):     u
Python爬取万方全部期刊信息数据，并以字典的格式存储在MongoDB
duanjiamingsss的博客
12-31 876
这里写自定义目录标题 import requests import json import simplejson import math from pymongo import MongoClient from tqdm import tqdm base_dir = 'images_wanfang/' headers = { 'host': 'c.wanfangdata.com.cn', 'Accept': 'application/json, text/javascript, */*;
Java获取网页数据步骤方法详解
08-19
Java获取网页数据是指使用Java语言从互联网上获取网页数据的过程。这个过程主要包括使用HttpClient请求网页、获取网页源码、查看源码是否有需要提取的数据、对源码进行拆解、获取需要的数据对自己创建的对象赋值、...
Java访问WebService返回XML数据的方法
09-03
Java访问WebService返回XML数据的方法是Java开发者在与Web服务交互时常见的需求，特别是当Web服务以XML格式提供数据时。本篇文章将详细讲解如何通过Java实现这一过程，并介绍相关的技术点。 首先，为了访问...
万方爬虫.rar
08-29
爬取万方数据库，获得某个领域文章的关键字，标题以及作者等基础信息。使用scrapy框架对网页信息进行爬取。包含工程文件以及实验报告。
wanFangSpider-dataPretreatment:对于万方论文库进行数据爬取和数据清洗生成语料库的程序
05-14
wanFangSpider-dataPretreatment 对于万方论文库进行数据爬取和数据清洗生成语料库的程序 1.下载后在安装python scrapy框架情况下（推荐用conda命令安装） 2.在此文件夹下shift+鼠标右键打开命令行 3.输入 scrapy crawl wanfang 启动爬虫 操作步骤： 参照： 修改内容： 1.数据存入sqlite数据库中 2.增加数据清洗和模型训练
wanfangSpider-master_爬虫_python_万方_scrapy_
09-30
基于Scrapy框架，实现对万方数据库页面相关信息的爬取，包括论文简介、关键词等等，可以提供关键词爬取一类论文信息，并保存在本地文件中
【Python】一个简单的爬取万方数据库文章基础信息的爬虫
qq_25929775的博客
11-26 3571
【Python】一个简单的爬取万方数据库的论文 源代码地址:点我进入GitHub项目网址. 因为课程需要，需要爬取某个领域文章的关键字以及作者等基础信息，因此写了一段简单的小爬虫来获取一些基础信息并存储在excel表格中，由于懒得和知网的反爬周旋以及偶然发现万方并不限制爬虫（可能不是那么强），所以转战万方爬取。速度大概是2小时5万篇，接下来会进行改进，加快速度，希望大家支持~ 需要的库 pand...
Python爬虫实战 | (7) 爬取万方数据库文献摘要
热门推荐
sdu_hao的博客
07-17 2万+
在本篇博客中，我们将爬取万方数据库，首先我们打开万方首页http://www.wanfangdata.com.cn： 在搜索框中输入关键词，选择期刊、学位或会议，点击搜论文，并可得到与关键词相关的期刊、学位或会议论文，显示在下方，右上角是页数和搜索结果，默认一页20篇论文。 我们需要用爬虫来模拟上述操作，通过给定一个关键词，选择期刊、学位或会议，进行搜索，将搜索结果即论文的摘要、题目、作...
python 爬取万方数据
沉默的小蜗牛
06-19 5220
万方数据是最早的数据平台，针对非计算机专业的用户群体来说，需要经常下载数据。因此今天你用scrapy框架实现一个万方数据下载的爬虫。只需要简单部署即可使用，下载的数据采用万方统一的规定格式存储。下面展示爬虫主代码：items.py文件字段定义：在代码中我尽可能详细的备注了才用xpath获取元素的方式和html结构中可能出现的坑。若你在学习爬虫，可以参考代码仔细学习下。...
大数据——JSoup爬虫技术
m0_56569131的博客
11-04 733
大数据笔记
urlconnection
05-04
URLConnection是Java中用于建立与URL之间的连接的类。它是Java中处理URL的标准方式之一。使用URLConnection，可以打开一个连接，读取和写入数据，设置请求属性（如请求头和超时），以及处理响应（如响应头和响应码）。URLConnection支持多种协议，包括HTTP、HTTPS、FTP等。 使用URLConnection建立连接的一般步骤如下： 1. 创建一个URL对象，表示要连接的URL 2. 调用URL对象的openConnection()方法，返回一个URLConnection对象 3. 设置URLConnection对象的请求属性（如请求头和超时） 4. 调用URLConnection对象的connect()方法，建立连接 5. 读取和写入数据 6. 处理响应（如响应头和响应码） 示例代码： ``` URL url = new URL("http://www.example.com/"); URLConnection conn = url.openConnection(); conn.setRequestProperty("User-Agent", "Mozilla/5.0"); conn.setConnectTimeout(5000); conn.setReadTimeout(5000); conn.connect(); InputStream in = conn.getInputStream(); // 读取数据 in.close(); ``` 在这个示例中，我们使用URLConnection连接到http://www.example.com/，设置了User-Agent请求头和5秒的连接和读取超时，然后读取了响应数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值