爬取网页表格数据至本地

最新推荐文章于 2024-05-13 18:11:08 发布
最新推荐文章于 2024-05-13 18:11:08 发布
阅读量597 收藏 3
点赞数 1
分类专栏： 爬虫 python 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43821220/article/details/133907523
版权

爬取网页表格数据至本地
2023-5-18
爬取网站表格数据1.0
1.对http://quote.eastmoney.com/center/gridlist.html#hs_a_board网站进行数据的爬取。后面会试着再往数据库里面写。
2.在代码中，指定D:/spider_file/spider_excel/stock.xls

图1：网站界面
在这里插入图片描述

import random
from selenium import webdriver
import time
from lxml import etree
import requests
import xlwt



user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
    "UCWEB7.0.2.37/28/999",
    "NOKIA5700/ UCWEB7.0.2.37/28/999",
    "Openwave/ UCWEB7.0.2.37/28/999",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    # iPhone 6：
    "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]
headers = {'User-Agent': random.choice(user_agent)}
url = 'http://quote.eastmoney.com/center/gridlist.html#hs_a_board'

# 浏览器驱动绝对路径
driver = webdriver.Chrome()

driver.maximize_window()
# 跳转网页
driver.get(url)
time.sleep(1)
source_result = driver.page_source

# response=requests.get(url,headers=headers)
# resp=response.text
html=etree.HTML(source_result)
time.sleep(1)
driver.quit()




#首行的名称字段
field_name=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/thead/tr/th/span/text()')

#序号
stock_id=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[1]/text()')
#代码
stock_code=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[2]/a/text()')
#名称
stock_name=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[3]/a/text()')
#相关链接
stock_link=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[4]/a[1]/@href')
#最新价
stock_newprice=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[5]/span/text()')
#涨跌幅
stock_change=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[6]/span/text()')
#涨跌额
stock_rise_fall=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[7]/span/text()')
#成交量（手）
stock_turnover=html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[8]/text()')


datalist=[]
# datalist.append(field_name)
datalist.append(stock_id)
datalist.append(stock_code)
datalist.append(stock_name)
datalist.append(stock_link)
datalist.append(stock_newprice)
datalist.append(stock_change)
datalist.append(stock_rise_fall)
datalist.append(stock_turnover)


print(datalist)


#写入excel
#创建excel表格类型文件
book = xlwt.Workbook(encoding='utf-8',style_compression=0)
#在excel表格类型文件中建立一张sheet表单 cell_overwrite_ok用于确认同一个cell单元是否可以重设值，这里赋值为True就表示可重设值。
sheet = book.add_sheet('沪深京个股',cell_overwrite_ok=True)

#首行字段写入excel中
for i in range(len(field_name[0:8])):
	sheet.write(0,i,field_name[i])   #第一个参数是行、第二个参数是列、第三个当然就是col元组值

print(len(datalist))


for i in range(len(field_name[0:8])):
    for j in range(len(stock_code)):
        # print(len(datalist[i]))
        sheet.write(j+1,i,datalist[i][j])


savepath = 'D:/spider_file/spider_excel/stock.xls'
book.save(savepath)

爬取思路：
1.获取首行的字段名
2.获取各个字段对应的数据，写入到excel中

图2：控制台
在这里插入图片描述

图3：实际情况
在这里插入图片描述

图4：
在这里插入图片描述

后续改进：

  1. 1.5版准备将后面多页（如图4所示）都爬取到。
    2.计划将表格宽度设置一下，图3有些字段有些宽度太短，被挡住了。
    3.优化一下代码，1.0代码写的稍微有点乱，有点像将功能胡乱拼凑，后续会改进。

2023-5-19
爬取网站表格数据1.5
1.今天实现了多页爬取，将沪深京的所有股的信息爬取下来了
2.今天也改进了昨天的问题，将第三列行宽改变了
在这里插入图片描述

代码如下：

import random
from selenium import webdriver
import time
from lxml import etree
import requests
import xlwt



user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
    "UCWEB7.0.2.37/28/999",
    "NOKIA5700/ UCWEB7.0.2.37/28/999",
    "Openwave/ UCWEB7.0.2.37/28/999",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    # iPhone 6：
    "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]

#滚动条缓慢滚动10次
def windowscroll(num):  #每次停格一秒，滚动10次。
    height=0
    #滚动条连续滚动10次
    for i in range(num):
        driver.execute_script("window.scrollTo({},{});".format(height,height+500))
        height = height + 500
        time.sleep(1)


headers = {'User-Agent': random.choice(user_agent)}
url = 'http://quote.eastmoney.com/center/gridlist.html#hs_a_board'
datalist=[]
field_name=[]
stock_id=[]
stock_code=[]
stock_name=[]
stock_link=[]
stock_newprice=[]
stock_change=[]
stock_rise_fall=[]
stock_turnover=[]

# 浏览器驱动绝对路径
driver = webdriver.Chrome()
# 跳转网页
driver.get(url)
#最大化
driver.maximize_window()
for i in range(269):#269  总页数-1，因为第一页已经进去了
    # 滚动条缓慢滚动10次
    # windowscroll(1)

    time.sleep(1)
    source_result = driver.page_source

    # response=requests.get(url,headers=headers)
    # resp=response.text
    html=etree.HTML(source_result)
    time.sleep(1)
    #首行的名称字段
    field_name.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/thead/tr/th/span/text()'))
    #序号
    stock_id.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[1]/text()'))
    #代码
    stock_code.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[2]/a/text()'))
    #名称
    stock_name.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[3]/a/text()'))
    #相关链接
    stock_link.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[4]/a[1]/@href'))
    #最新价
    stock_newprice.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[5]/span/text()'))
    #涨跌幅
    stock_change.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[6]/span/text()'))
    #涨跌额
    stock_rise_fall.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[7]/span/text()'))
    #成交量（手）
    stock_turnover.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[8]/text()'))
    #翻页
    if(html.xpath("/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/a[2]/@class") != "next paginate_button disabled"):
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/a[2]').click()



datalist.append(stock_id)
datalist.append(stock_code)
datalist.append(stock_name)
datalist.append(stock_link)
datalist.append(stock_newprice)
datalist.append(stock_change)
datalist.append(stock_rise_fall)
datalist.append(stock_turnover)

driver.quit()
print(datalist)


#写入excel
#创建excel表格类型文件
book = xlwt.Workbook(encoding='utf-8',style_compression=0)
#在excel表格类型文件中建立一张sheet表单 cell_overwrite_ok用于确认同一个cell单元是否可以重设值，这里赋值为True就表示可重设值。
sheet = book.add_sheet('沪深京个股',cell_overwrite_ok=True)


sheet.col(3).width = 256 * 50  # Set the column width 设置第一列列宽

#首行字段写入excel中
for i in range(len(field_name[0:8])):
	sheet.write(0,i,field_name[i])   #第一个参数是行、第二个参数是列、第三个当然就是col元组值

print(len(datalist))


for i in range(len(field_name[0:8])):
    for j in range(len(stock_code)):
        # print(len(datalist[i]))
        sheet.write(j+1,i,datalist[i][j])


savepath = 'D:/spider_file/spider_excel/stock.xls'
book.save(savepath)

最终效果如下：
我们可以看见，D列行宽通过我们的代码完成改变了，数据共爬取5380行。
在这里插入图片描述

后续改进：
1.目前只选取了部分字段的数据，2.0的想法是把所有字段爬取下来。
2.希望把代码完善一下，代码有些凌乱，看看能不能把部分功能封装起来。

2023-5-19 15:30
爬取网站表格数据2.0
1.将所有字段都爬取下来了。
代码如下：

import random
from selenium import webdriver
import time
from lxml import etree
import requests
import xlwt

user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
    "UCWEB7.0.2.37/28/999",
    "NOKIA5700/ UCWEB7.0.2.37/28/999",
    "Openwave/ UCWEB7.0.2.37/28/999",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    # iPhone 6：
    "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]

#滚动条缓慢滚动10次
def windowscroll(num):  #每次停格一秒，滚动10次。
    height=0
    #滚动条连续滚动10次
    for i in range(num):
        driver.execute_script("window.scrollTo({},{});".format(height,height+500))
        height = height + 500
        time.sleep(1)


headers = {'User-Agent': random.choice(user_agent)}
url = 'http://quote.eastmoney.com/center/gridlist.html#hs_a_board'
datalist=[]
field_name=[]
stock_id=[]
stock_code=[]
stock_name=[]
stock_link=[]
stock_newprice=[]
stock_change=[]
stock_rise_fall=[]
stock_turnover=[]

stock_amount=[]
stock_amplitude=[]
stock_max=[]
stock_min=[]
stock_today=[]
stock_yesterday=[]
stock_q_ratio=[]
stock_turnover_rate=[]
stock_PE_ratio=[]
stock_PB_ratio=[]




# 浏览器驱动绝对路径
driver = webdriver.Chrome()
# 跳转网页
driver.get(url)
#最大化
driver.maximize_window()

for i in range(269):#269  总页数-1，因为第一页已经进去了
    # 滚动条缓慢滚动10次
    # windowscroll(1)

    time.sleep(1)
    source_result = driver.page_source

    # response=requests.get(url,headers=headers)
    # resp=response.text
    html=etree.HTML(source_result)
    time.sleep(1)
    #首行的名称字段
    field_name.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/thead/tr/th/span/text()'))
    #序号
    stock_id.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[1]/text()'))
    #代码
    stock_code.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[2]/a/text()'))
    #名称
    stock_name.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[3]/a/text()'))
    #相关链接
    stock_link.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[4]/a[1]/@href'))
    #最新价
    stock_newprice.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[5]/span/text()'))
    #涨跌幅
    stock_change.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[6]/span/text()'))
    #涨跌额
    stock_rise_fall.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[7]/span/text()'))
    #成交量（手）
    stock_turnover.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[8]/text()'))


    #成交额
    stock_amount.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[9]/text()'))
    #振幅
    stock_amplitude.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[10]/text()'))
    #最高
    stock_max.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[11]/span/text()'))
    #最低
    stock_min.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[12]/span/text()'))
    #今开
    stock_today.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[13]/span/text()'))
    #昨收
    stock_yesterday.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[14]/text()'))
    #量比
    stock_q_ratio.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[15]/text()'))
    #换手率
    stock_turnover_rate.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[16]/text()'))
    #市盈率
    stock_PE_ratio.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[17]/text()'))
    #市净率
    stock_PB_ratio.extend(html.xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/table/tbody/tr/td[18]/text()'))






    #翻页
    if(html.xpath("/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/a[2]/@class") != "next paginate_button disabled"):
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/a[2]').click()


# datalist.append(field_name)
datalist.append(stock_id)
datalist.append(stock_code)
datalist.append(stock_name)
datalist.append(stock_link)
datalist.append(stock_newprice)
datalist.append(stock_change)
datalist.append(stock_rise_fall)
datalist.append(stock_turnover)

datalist.append(stock_amount)
datalist.append(stock_amplitude)
datalist.append(stock_max)
datalist.append(stock_min)
datalist.append(stock_today)
datalist.append(stock_yesterday)
datalist.append(stock_q_ratio)
datalist.append(stock_turnover_rate)
datalist.append(stock_PE_ratio)
datalist.append(stock_PB_ratio)


driver.quit()
print(datalist)


#写入excel
#创建excel表格类型文件
book = xlwt.Workbook(encoding='utf-8',style_compression=0)
#在excel表格类型文件中建立一张sheet表单 cell_overwrite_ok用于确认同一个cell单元是否可以重设值，这里赋值为True就表示可重设值。
sheet = book.add_sheet('沪深京个股',cell_overwrite_ok=True)


sheet.col(3).width = 256 * 50  # Set the column width 设置第一列列宽

#首行字段写入excel中
for i in range(len(field_name[0:17])):
	sheet.write(0,i,field_name[i])   #第一个参数是行、第二个参数是列、第三个当然就是col元组值

# print(len(datalist))


for i in range(len(field_name[0:17])):
    for j in range(len(stock_id)):
        # print(len(datalist[i]))
        sheet.write(j+1,i,datalist[i][j])


savepath = 'D:/spider_file/spider_excel/stock.xls'
book.save(savepath)

实际结果如下：
在这里插入图片描述
很早之前写的代码了，自己搬运一下的

追梦的少年Ly
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用Google表格进行网页抓取
编程故事的地方
05-17 1653
Web抓取和利用各种AP​​I是从网站和应用程序收集数据的好方法，这些数据以后可用于数据分析 。 有一家名为HiQ的公司，以网页抓取而闻名。 HiQ搜寻各种“公共”网站以收集数据并为公司中的员工提供分析。 他们使用Linkedin等站点数据和其他公共资源帮助公司寻找顶尖人才，以获取其算法所需的信息。 但是，当Linkedin要求他们停止并停止并采取某些技术方法来减慢HiQ的网络爬虫速度时，它们...
贝壳找房网站爬取杭州新房数据
03-21
5. **存储数据**：最后，将爬取到的数据保存到本地，常见的格式有CSV、JSON、数据库等。`pandas`库可以帮助我们将数据结构化并写入文件： ```python import pandas as pd data = pd.DataFrame(parsed_data) data...
Python基于pandas爬取网页表格数据
09-16
主要介绍了Python基于pandas获取网页表格数据,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
15张超详细的Python学习路线图，纯良心分享，新手小白学习宝典
m0_60452293的博客
04-13 350
是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！结合自身的学习经验以及与很多自学者的沟通了解，我们整理出。，供诸位尚未入门或刚入门不久的同学参考。
python获取网页表格数据
最新发布
2401_84540063的博客
05-13 806
所以read_html是依靠lxml等库根据HTML语法找到表格位置，并转换为DataFrame。read_html 返回的是列表（a list of DataFrame）没有学过爬虫，好奇是read_html怎么做到的，怎么解析网页的。需要网页中的基因（Gene Symbol），一共371个。网页中的表格html语法大概如下。使用pandas读取网页表格。th: 定义表格的表头。tr: 定义表格的行。td: 定义表格单元。
（爬虫）网页表格
marst437730201的博客
07-31 703
爬取网页时,有些表格是想要抓取的内容. 直接获取的表格,往往有些是不规整的。这个时候需要冷静分析一下它的构成,以此来过滤不必要的信息,获取到数据的完整结果.
数据分析---1.数据获取----爬取页面表格信息
cht2511的博客
08-18 763
成功的秘诀，在永不改变既定的目的 在看到某人的诉求后，并有高手回答，看过后我get了方法，并优化创新方法 带表格信息的网站（网址代码里面有），例如： 我对上面四个网站都进行了，爬取，基本相似，但有点区别 """ @author: cht @time: 2019/8/18 13:12 """ # -*- coding: utf-8 -*- import requests from bs4...
python爬取网页表格_求教如何通过python抓取网页中表格信息
weixin_39669982的博客
11-23 467
展开全部看你2113抓的是静态还是动5261态的了，这里是静态表4102格信息的代码：1653from BeautifulSoup import BeautifulSoupimport urllib2import reimport stringdef earse(strline,ch) :left = 0right = strline.find(ch)while right !=-1 :strli...
爬虫之爬取网页表格数据（二）
weixin_44439539的博客
06-30 2874
爬虫之爬取网页表格数据 ###环境：Anaconda2虚拟环境 步骤1 打开Anaconda Prompt命令行窗口，输入conda activate tfenv激活虚拟环境，进入所要创建爬虫项目的文件夹，比如说我在F:\hadoop\python-project目录下创建爬虫项目。输入scrapy startproject firstspider创建firstspider项目 步骤2 在pycharm中打开刚新建的项目，目录结构如图所示 spiders:这里面写爬虫程序 items:写实体( pyt
VB.NET网页源码爬取.zip
04-10
6. **数据存储**：将爬取到的数据保存到本地文件、数据库或者云存储中，便于后续分析和使用。 这个VB.NET爬虫示例对于初学者来说是一个很好的学习资源，可以帮助他们理解如何在.NET环境中编写爬虫，以及如何使用...
python3 爬取网页表格实例
07-01
python爬取网页的表格内容, 并存入csv文件, 网页地址:http://app.finance.ifeng.com/data/stock/yjyg.php?symbol=000001
用java实现爬虫抓取网页中的表格数据功能源码
12-20
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。包解压后导入MyEclipse就可以使用，在TestCrawTable中右键运行就能看到抓取到的数据。其他的调试可以自行修改。
从网站上抓取数据至excel
08-01
selenium
利用正则提取网页中的一个表格
12-26
本程序利用c#自带函数获得网页源码，并利用字符串截取和正则表达式根据网页提取出网页中的一个表格，并显示在ListView中
免费网页数据爬取工具
09-18
免费网页数据爬取工具
Python爬取豆瓣数据实现过程解析
12-16
5. `xlwt`：用于写入Excel文件，将爬取到的数据存储为表格形式。 6. `sqlite3`：Python内置的SQLite数据库接口，可以将数据保存到本地数据库。 7. `lxml`：另一个HTML和XML解析库，比BeautifulSoup更快，但这里并未...
爬虫 快速获取页面的表格
xiaoyurainzi的博客
09-01 735
爬虫 快速获取页面的表格
5行代码实现网页表格数据爬取
weixin_44976611的博客
08-13 951
5行代码实现网页表格数据爬取：pd.read_html()
python爬虫爬取网页数据创建什么项
06-13
Python爬虫爬取网页数据可以创建许多项，例如： 1. 数据库表格：将爬取到的数据存储到数据库中，可以使用MySQL、MongoDB等数据库。 2. CSV文件：将爬取到的数据存储到CSV文件中，方便后续的处理和分析。 3. JSON文件：将爬取到的数据存储到JSON文件中，方便数据的传输和跨平台使用。 4. Excel文件：将爬取到的数据存储到Excel文件中，方便后续的处理和分析。 5. HTML文件：将爬取到的数据生成HTML文件，方便展示和分享。 6. 图片、视频等多媒体文件：将爬取到的图片、视频等多媒体文件下载到本地，方便后续的使用和观看。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值