网络爬虫
数能工作室
这个作者很懒,什么都没留下…
展开
-
requests、BeautifulSoup结合pandas.DataFrame将爬取到的多页数据保存到Excel表
# 将抓取的数据分为不同的类别,将单个数据转换为2D列表以在数据pandas数据帧中使用的方法。 from bs4 import BeautifulSoup import csv import re import pandas as pd import requests from time import sleep from tqdm import tqdm # 显示进度条 url = "https://www.kpaa.or.kr/kpaa/eng/list.do?" headers = {原创 2021-01-18 15:17:33 · 1127 阅读 · 0 评论 -
Python3结合MYSQL爬取股票信息
1、具体代码如下: import re import requests import json from pyquery import PyQuery import pymysql stock_list_url = 'https://hq.gucheng.com/gpdmylb.html' stock_info_url = 'http://qd.10jqka.com.cn/quote.php?...原创 2020-01-15 23:36:37 · 393 阅读 · 0 评论