[python][爬虫]获取全球港口航线数据

获取网站:https://gangkou.bmcx.com/

Python脚本,该脚本的功能是从一个特定的网页(https://gangkou.bmcx.com/)抓取数据。脚本使用了requests库来发送HTTP GET请求,然后使用BeautifulSoup库来解析返回的HTML内容,寻找所有的表格中居中的链接,并提取这些链接的文本内容。

不过,由于我目前无法解析您提供的链接,所以无法直接获取网页内容。如果您需要帮助理解脚本的工作原理或者需要进一步的帮助,请提供更多的信息或者具体问题。

如果您需要确保网页链接的有效性,您可以在浏览器中尝试访问该链接,检查是否能够正常访问。如果链接有效但仍然无法解析,可能是由于网络问题或其他原因。您可以尝试以下操作:

  1. 检查网络连接是否稳定。
  2. 确保网页没有重定向或需要特殊处理的请求头。
  3. 检查是否有任何JavaScript生成的内容,因为requestsBeautifulSoup可能无法处理动态加载的内容。

具体代码如下:

#coding:utf-8
import base64
import datetime
import requests
from bs4 import BeautifulSoup
from orm.models import BaseLine

def getList():
    sendUrl='https://gangkou.bmcx.com/'
    rs=requests.get(sendUrl)
    rstext=rs.content.decode('utf-8')
    soup = BeautifulSoup(rstext, 'html.parser')
    tables=soup.find_all('table',{'align':'center'})
    table=tables[0]
    eas=table.find_all('a')
    cs=[]
    for ea in eas:
        cs.append(ea.text)
    return cs

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

awonw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值