前言
前天有人要我帮忙爬取一下东方财富网几只股票的股票吧评论,晚上花了点时间给他弄了一下,很简单啊
一、分析网站
打开东方财富网,网址很简单:600340这只股票评论一共1303页,每页的网址如下:
http://guba.eastmoney.com/list,600340_1.html
http://guba.eastmoney.com/list,600340_2.html
这是按照评论时间
http://guba.eastmoney.com/list,600340,f_1.html
http://guba.eastmoney.com/list,600340,f_1.html
这是按照发帖时间
做一个循环就可以了。
二、使用步骤
1.引入库
代码如下(示例):
import requests
import pandas as pd
from lxml import etree
import csv
2.读入数据
代码如下(示例):
ab1=[]
n=20 #定义爬取的页面
daima='600340' #定义爬取的股票
for a in range(1,n):
url = 'http://guba.eastmoney.com/list,'+daima+'_'+str(a)+'.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'}
res = requests.get(url=url,headers=headers)
res.encoding ='utf-8'
tree = etree.HTML(res.text)
li1 = tree.xpath('//*[@id="articlelistnew"]/div/span[1]/text()')
li1.remove('阅读')
li2 = tree.xpath('//*[@id="articlelistnew"]/div/span[2]/text()')
li2.remove('评论')
li3 = tree.xpath('//*[@id="articlelistnew"]/div/span[3]/a/text()')
li4 = tree.xpath('//*[@id="articlelistnew"]/div/span[4]/a/font/text()')
li5 = tree.xpath('//*[@id="articlelistnew"]/div/span[5]/text()')
li5.remove('最后更新')
for i in range(len(li1)):
list1 = [li1[i],li2[i],li3[i],li4[i],li5[i]]
ab1.append(list1)
filename=daima+'.csv'
print(filename)
with open(filename, 'w',newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(('阅读','评论','标题','作者','最后更新'))
writer.writerows(ab1)
总结
爬取后的效果如下:
欢迎使用Markdown编辑器
你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:
- 全新的界面设计 ,将会带来全新的写作体验;
- 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
- 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
- 全新的 KaTeX数学公式 语法;
- 增加了支持甘特图的mermaid语法1 功能;
- 增加了 多屏幕编辑 Markdown文章功能;
- 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
- 增加了 检查列表 功能。
功能快捷键
撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
查找:Ctrl/Command + F
替换:Ctrl/Command + G
合理的创建标题,有助于目录的生成
直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC
语法后生成一个完美的目录。
如何改变文本的样式
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片
链接: link.
图片:
带尺寸的图片:
居中的图片:
居中并且带尺寸的图片:
当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。
如何插入一段漂亮的代码片
去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片
.
// An highlighted block
var foo = 'bar';
生成一个适合你的列表
- 项目
- 项目
- 项目
- 项目
- 项目1
- 项目2
- 项目3
- 计划任务
- 完成任务
创建一个表格
一个简单的表格是这么创建的:
项目 | Value |
---|---|
电脑 | $1600 |
手机 | $12 |
导管 | $1 |
设定内容居中、居左、居右
使用:---------:
居中
使用:----------
居左
使用----------:
居右
第一列 | 第二列 | 第三列 |
---|---|---|
第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:
TYPE | ASCII | HTML |
---|---|---|
Single backticks | 'Isn't this fun?' |
‘Isn’t this fun?’ |
Quotes | "Isn't this fun?" |
“Isn’t this fun?” |
Dashes | -- is en-dash, --- is em-dash |
– is en-dash, — is em-dash |
创建一个自定义列表
-
Markdown
- Text-to- HTML conversion tool Authors
- John
- Luke
如何创建一个注脚
一个具有注脚的文本。