R 携程评论可视化

最新推荐文章于 2024-04-24 11:43:45 发布
最新推荐文章于 2024-04-24 11:43:45 发布
阅读量741 收藏 3
点赞数
分类专栏： R语言编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45529837/article/details/106884119
版权

第一部分  爬虫爬取阿坝州主要景点携程评论数据

import re
import requests
import json
import time
import pandas as pd

head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}
postUrl = "https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList"


urls = [

    ['1409209', '中国古羌城'],
    ['63315', '四姑娘山'],
    ['77380', '九寨沟风景区'],
    ['78031', '毕棚沟'],
    ['2673', '黄龙风景名胜区'],
    ['63306', '达古冰山地质公园'],
    ['136686', '若尔盖花湖'],
    ['1922979', '卧龙中华大熊猫苑神树坪基地'],
    ['63317', '红原—若尔盖大草原'],
    ['77698', '叠溪－松坪沟风景区'],
    ['63305', '米亚罗风景区'],
    ['63376', '黄河九曲第一湾'],
    ['136693', '双桥沟'],
    ['63351', '桃坪羌寨'],
    ['55651','松潘古城'],
    ['1407342','太子岭滑雪场']
    ['127927','映秀地震遗址'],
    ['1996233','鹧鸪山自然公园滑雪场']
    ['63371','卓克基土司官寨文化旅游景区']
]

for data in urls:
    data_1 = {
        "pageid": "10650000804",
        "viewid": data[0],
        "tagid": "-11",
        "pagenum": "1",
        "pagesize": "10",
        "contentType": "json",
        "SortType": "1",
        "head": {
            "appid": "100013776",
            "cid": "09031164110643039198",
            "ctok": "",
            "cver": "1.0",
            "lang": "01",
            "sid": "8888",
            "syscode": "09",
            "auth": "",
            "extension": [
                {
                    "name": "protocal",
                    "value": "https"
                }
            ]
        },
        "ver": "7.10.3.0319180000"
    }

    html = requests.post(postUrl, data=json.dumps(data_1)).text
    html = json.loads(html)
    jingqu = data[1]
    comments = html['data']['comments']
    pages = html['data']['totalpage']
    datas = []
    for j in range(pages):
        data1 = {
            "pageid": "10650000804",
            "viewid": data[0],
            "tagid": "0",
            "pagenum": str(j + 1),
            "pagesize": "10",
            "contentType": "json",
            "SortType": "1",
            "head": {
                "appid": "100013776",
                "cid": "09031164110643039198",
                "ctok": "",
                "cver": "1.0",
                "lang": "01",
                "sid": "8888",
                "syscode": "09",
                "auth": "",
                "extension": [
                    {
                        "name": "protocal",
                        "value": "https"
                    }
                ]
            },
            "ver": "7.10.3.0319180000"
        }
        datas.append(data1)

    scores = []
    contents = []
    times1 = []
    jingqus = []
    for k in datas:
        print('正在抓取第' + k['pagenum'] + "页")
        time.sleep(3)
        html1 = requests.post(postUrl, data=json.dumps(k)).text
        html1 = json.loads(html1)
        comments = html1['data']['comments']

        for i in comments:
            score = i['score']
            time1 = i['date']
            scores.append(score)
            times1.append(time1)
            jingqus.append(jingqu)

    pf = pd.DataFrame({'comments':contents,'time': times1,'score': scores, 'jingqu'：jingqus})
    pf.to_csv("ctr_scores.csv", encoding="utf-8",
              header=True, index=False)

 爬虫代码参考CSDN的一位博主，我今天懒得找出处了，哪天找到补上

第二部分 携程评分可视化

一、准备 


library(lubridate)
library(ggplot2)
library(reshape2)
library(knitr)

# 批量读取
path<-"C:\\Users\\91333\\Documents\\semester6\\VS code\\VScode Python\\scores"
fileNames<-dir(path) 
filePath<-sapply(fileNames, function(x){ 
  paste(path,x,sep='/')})   
scores_data<-lapply(filePath, function(x){
  read.csv(x, header=T)})
scores_data<-lapply(scores_data,function(x){
   data.frame(time=as.POSIXlt(substr(x$time,1,10)),score=x$score)})
scores_data<-lapply(scores_data,function(x){
   
# 整合一下数据 
data.frame(year=year(x$time),month=month(x$time),wday=wday(x$time),yearmonth=substr(x$time,1,7),time=x$time,score=x$score)})
freqall<-lapply(scores_data, function(x){
  data.frame(yearmonth=ymd(paste(names(table(x$yearmonth)),'-01')),freq = as.numeric(table(x$yearmonth)))
})
for (i in 1:length(freqall)){
  colnames(freqall[[i]]) <- c("yearmonth",fileNames[i])
}
merged <-  merge(freqall[[1]],freqall[[2]],all=TRUE)
for(i in 3:length(freqall)){
  merged <-merge(merged,freqall[[i]],all=TRUE)
}
for (i in 1:ncol(merged)) {
  useless <- colnames(merged)[i]
  colnames(merged)[i] <- substr(useless,1,nchar(useless)-4)
}
colnames(merged)[1]<-'时间'
merged[is.na(merged)]<-0
merged <- merged[32:116,]

 二、绘制分地区条形图

1.准备

barplotdata <- data.frame('景点'=colnames(merged)[2:19],'评论数'=as.numeric(colSums(merged[,2:19])))
barplotdata <- data.frame(t(as.data.frame(lapply(scores_data, function(x){
  c(mean(x$score),var(x$score),median(x$score))
}))),barplotdata)
colnames(barplotdata)[1:3]<-c('均值','方差','中位数')
barplotdata<-barplotdata[order(barplotdata[,'均值'],decreasing = T),]
barplotdata[19,c(1,2,3,5)] <- colMeans(barplotdata[,c(1,2,3,5)])
barplotdata[19,4]<-99999
rownames(barplotdata)<- t(barplotdata['景点'])
rownames(barplotdata)[19]<-'平均'
kable(barplotdata[,c(1,2,3,5)])

 

 

均值

方差

中位数

评论数

九寨沟

4.565448

1.4860773

5.000000

3010.0000

黄龙

4.555615

0.7628229

5.000000

1834.0000

鹧鸪山滑雪场

4.506250

1.2108168

5.000000

480.0000

映秀地震遗址

4.463636

0.7703611

5.000000

220.0000

卧龙

4.404348

0.9385431

5.000000

460.0000

太子岭滑雪场

4.379310

1.4888438

5.000000

290.0000

达古冰川

4.352273

1.5276399

5.000000

879.0000

四姑娘山

4.350526

1.7537142

5.000000

942.0000

红原-若尔盖草原

4.322222

1.6162632

5.000000

176.0000

叠溪-松坪沟

4.306000

1.2268176

5.000000

500.0000

中国古羌城

4.275000

0.9427673

4.000000

160.0000

毕棚沟

4.190909

1.9315108

5.000000

2530.0000

松潘古城

4.171429

1.0422420

4.000000

210.0000

若尔盖花湖

4.133962

2.0633056

5.000000

529.0000

九曲黄河第一湾

4.067442

2.2355342

5.000000

428.0000

桃坪羌寨

4.034043

1.9050220

5.000000

469.0000

卓克基土司官寨

3.925000

2.4597484

5.000000

160.0000

双桥沟

3.916667

2.9302650

5.000000

240.0000

平均

4.273338

1.5717942

4.888889

750.9444

ggplot(barplotdata[1:18,])
+ geom_bar(aes(x=reorder(景点,-均值),y=均值-3.9,fill=reorder(景点,-均值)),stat ="identity")
+ xlab("景点")
+ ggtitle('阿坝州主要景点2013年1月至2020年4月携程网评分均值得分图')
+ guides(fill=guide_legend(title=NULL))+scale_fill_hue(h = c(0,180), c=60,l=70)
+ scale_y_continuous(breaks=c(0,0.2,0.4,0.6),labels = c("3.9","4.1","4.3","4.7"))
+ ylab('评分均值')
+ theme_classic()
+ theme(plot.title = element_text(hjust = 0.5), legend.key.size = unit(15, "pt"), axis.text.x  = element_blank())

 

for(i in 1:length(scores_data)){
     scores_data[[i]]['景区'] <- colnames(merged)[i+1]
}
newdata<-rbind(scores_data[[1]],scores_data[[2]])
for(i in 3:length(scores_data)){
  newdata <- rbind(newdata,scores_data[[i]])
}

#for(i in 1:length(scores_data)){
#  for(j in 1:length(scores_data)){
#    if(i ==j){ scores_data[[i]][colnames(merged)[i+1]] <- 1
#    }
#    else{scores_data[[i]][colnames(merged)[j+1]] <- 0
#    }
#  }
#}
#newdata<-rbind(scores_data[[1]],scores_data[[2]])
#for(i in 3:length(scores_data)){
#  newdata <- rbind(newdata,scores_data[[i]])
#}

ggplot(newdata[,],aes(x=reorder(景区,-score,FUN=mean),y=score))
+ geom_boxplot(fill="lightblue",alpha=0.4,color = '#46A3FF')
+ geom_violin(color='red',fill="pink",alpha=0.4)
+ theme_classic()
+ ylab('携程评分')
+ xlab('景点')
+ ggtitle('阿坝州主要景点2013年1月至2020年4月携程网评分小提琴图')
+ theme(plot.title = element_text(hjust = 0.5))

time_score<-NULL
for(i in 1:length(scores_data)){
useless <-tapply(scores_data[[i]]$score,scores_data[[i]]$yearmonth,mean)
useless <-data.frame(names(useless),as.numeric(useless))
colnames(useless)<-c('时间',colnames(merged)[i+1])
useless['时间']<-ymd(paste(useless$时间,'-01'))
time_score <- merge(useless,time_score,all = T)
}
time_score[is.na(time_score)]<-0
time_score['主要景点平均评分']=rowMeans(time_score[,2:19])

ggplot(time_score[32:116,], aes(x=时间,y=主要景点平均评分))
+ geom_line()
+ theme_classic()
+ ggtitle('阿坝州主要景点2013年1月至2020年4月携程网评分均值折线图')
+ theme(plot.title = element_text(hjust = 0.5))
#ggplot(scores_data[[1]])+geom_line(aes(x=yearmonth,y=score))

year_score<-NULL
for(i in 1:length(scores_data)){
useless <-tapply(scores_data[[i]]$score,scores_data[[i]]$year,mean)
useless <-data.frame(year(paste(names(useless),'-01-01',sep='')),as.numeric(useless))
colnames(useless)<-c('年份',colnames(merged)[i+1])
year_score <- merge(useless,year_score,all = T)
}
year_score<-year_score[11:18,]
#year_score[is.na(year_score)]<-0
year_score2 <- melt(year_score, id.vars="年份")
colnames(year_score2)[2]<-'景点'

ggplot(year_score2[c(1:16,25:32,41:48,57:64),], aes(x=年份, y=value)) + geom_line(aes(color=景点),size=1)+guides(fill=guide_legend(title=NULL))+theme(plot.title = element_text(hjust = 0.5))+theme_classic()+ylab('评分')+ggtitle('阿坝州人文类景点2013年至2020年携程网评分年度均值折线图')

ggplot(year_score2[c(17:24,49:56),], aes(x=年份, y=value)) + geom_line(aes(color=景点),size=1)+guides(fill=guide_legend(title=NULL))+theme(plot.title = element_text(hjust = 0.5))+theme_classic()+ylab('评分')+ggtitle('阿坝州热门滑雪场2013年至2020年携程网评分年度均值折线图')

ggplot(year_score2[c(65:114,33:40),], aes(x=年份, y=value)) + geom_line(aes(color=景点),size=1)+guides(fill=guide_legend(title=NULL))+theme(plot.title = element_text(hjust = 0.5))+theme_classic()+ylab('评分')+ggtitle('阿坝州自然类景点2013年至2020年携程网评分年度均值折线图')

 

 

 

 

 

newdata$season <- ifelse(newdata$month==3|newdata$month==4|newdata$month==5,"春季",newdata$month) 
 newdata$season <- ifelse(newdata$month==6|newdata$month==7|newdata$month==8,"夏季",newdata$season) 
newdata$season <- ifelse(newdata$month==9|newdata$month==10|newdata$month==11,"秋季",newdata$season) 
 newdata$season <- ifelse(newdata$month==12|newdata$month==1|newdata$month==2,"冬季",newdata$season) 
 

ggplot(newdata[,],aes(x=reorder(season,-score,FUN=mean),y=score))+geom_boxplot(fill="lightblue",alpha=0.4,color = '#46A3FF')+geom_violin(color='red',fill="pink",alpha=0.4)+theme_classic()+ylab('携程评分')+xlab('季节')+ggtitle('阿坝州主要景点2013至2020年携程网季节评分小提琴图')+theme(plot.title = element_text(hjust = 0.5))

yearmonth_times<- data.frame(as.numeric(table(newdata$yearmonth)),ymd(paste(names(table(newdata$yearmonth)),'-01',sep='')))
colnames(yearmonth_times)<-c('评论数','时间')

ggplot(yearmonth_times[32:116,],aes(x=时间,y=评论数))+geom_line()+theme_classic()+ggtitle('阿坝州主要景点2013至2020年携程网评论数折线图')+theme(plot.title = element_text(hjust = 0.5))

 

 

BloodyBlondie
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫实战，pyecharts模块，Python实现大江大河评论数据可视化
weixin_43649691的博客
12-02 1987
Python实现大江大河评论数据可视化
携程在线评论爬虫
04-12
使用模拟浏览器方法爬取携程网的在线评论，header自行添加
VisualizingReviews:基于方面情感的TripAdvisor评论可视化
05-10
可视化评论 TripAdvisor评论的替代可视化。 使用Stanford Parser进行POS标记和依赖性分析，即，我们隔离名词及其相关形容词。 使用的情感词典将形容词分类为肯定或否定。 名词（“主语”）和形容词类别（正/负）的每次共同出现都会增加其权重。 这将输出一个驱动可视化的Excel文件。 可视化是通过图形实现的。 随附示例输入文件，中间Excel文件和最终输出。
B站UP主指法芬芳张大仙评论可视化
weixin_46778443的博客
08-15 377
文章目录前言一、用户评论数TOP10二、用户性别占比三、用户等级占比四、用户VIP占比五、评论内容词云六、评论点赞数TOP10 前言      在此之前，爬取了大仙在B站投稿的全部视频的详细信息。提取出2020年度的视频数据，通过统计得到评论数最多的视频，并对此视频评论和回复进行爬取。本文将爬取得到的数据进行分析。 一、用户评论数TOP10 from pyecharts.charts import Bar from pyecharts import optio
携程景点数据可视化：发现中国旅游热门目的地
最新发布
britlee的博客
04-24 864
在之前的一篇文章中，我们利用爬虫技术从携程网上获取了大量的景点数据，包括景点名称、地点、评分、评论数、标签等信息。这些数据为我们后续的分析提供了基础。旅游已经成为人们生活中不可或缺的一部分。作为中国最大的在线旅游服务提供商之一，携程网汇集了大量的旅游信息，包括各地景点的介绍、评价等。本文通过对携程景点数据的爬取和可视化，旨在发现中国旅游热门目的地。2.5.2 图形绘制。
Python抓取B站评论词云可视化（一看就会）
Jasenjane的博客
08-29 945
前言大家好，我是南南众所周知，作为一个单身lsp，b站舞蹈区探花，咳咳咳，直接进入正题吧由于内容过多，爬虫代码csdn上有很多篇博客讲解，我就不写了（我是不会告诉你是我懒的）视频地址:BV12q4y1S7j9爬完的数据是一个xlsx文件点我下载，我们直接开始数据分析吧！提取评论写入txt文档# -*- coding:utf-8 -*- import re from openpyxl import load_workbook#打开一个新文件 wb = load_workbook(filename = r"C:
【数据分享】维基百科Wiki负面有害评论（网络暴力）文本数据多标签分类挖掘可视化
大数据部落
12-02 692
原文链接：http://tecdat.cn/?p=8640 数据简介 讨论你关心的事情可能很困难。网络暴力骚扰的威胁意味着许多人停止表达自己并放弃寻求不同的意见。平台努力有效地促进对话，导致许多社区限制或完全关闭用户评论。 AI团队正在研究工具，以帮助提高在线评论互动。一个重点领域是研究负面的在线行为，如有害评论（即粗鲁、不尊重或可能使某人离开讨论的评论）。到目前为止，他们已经构建了一系列可用模型。但是当前的模型仍然会出错，并且它们不允许用户选择他们感兴趣的有害评论类型，例如，某些平台可能
携程热门景点评论爬虫（python实现）
08-21
本项目"携程热门景点评论爬虫"是一个利用Python编程语言实现的数据抓取程序，旨在从携程旅游网站上爬取特定省份的所有城市中的热门景点评论，并将这些评论保存为易于分析的Excel格式文件。以下将详细解析这个项目的...
携程网络防火墙自动化运维之道
02-01
本文会介绍携程网络安全运维如何通过自动化方式，在防火墙数量达到几十台，策略条目庞大、多品牌的情况下，对防火墙策略进行集中式统一化的管理，提升用户查询、申请策略体验，优化申批流程，系统自动化配置防火墙...
python爬取携程网评论.zip
11-10
在本项目中，我们主要探讨的是使用Python编程语言进行网络数据爬取，特别是针对携程网上的用户评论。这个过程涉及到的技术主要包括Python的requests库用于发送HTTP请求，BeautifulSoup库用于解析HTML页面，以及可能...
数据分析之1——淘宝文胸商品评论数据可视化
qq_43699362的博客
07-18 1571
说明：该文系转载，但相较原文添加了注释，减少新手上手难度 数据来源：chenjiandongx/cup-size 一、导入相关函数库 from pyecharts.charts import * from pyecharts import options as opts from pyecharts.commons.utils import JsCode from collections import Counter import re import pandas as pd import jieba im
实战案例：用Python对热播剧《突围》评论进行数据分析并可视化
Python数据挖掘
12-07 2475
今天我们分享一个爬虫+数据分析+数据可视化的开发案例：对腾讯热播剧——《突围》的评论进行数据分析及可视化。项目共采集了1W条评论，并且尝试对评论进行了情绪文本分析处理，很适合数据分析新人练手。注：本文内容仅作为编程技术学习讨论，相关代码和数据不可用于商业用途，否则后果自负。项目主要内容：如何查找视频id制作词云图制作最近评论数条形图与折线图制作每小时评论条形图与折线图制作最近评论数饼图制作每小时评论饼图制作观看时间区间评论统计饼图制作突围主演提及占比饼图制作评论
使用Python分析网易云歌曲评论信息，通过可视化处理我发现了这些有趣的规律...
pdcfighting的博客
01-11 1207
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤为有云屏无限娇，凤城寒尽怕春宵。大家好，我是Python进阶者。前言前几天...
matplotlib微博点赞和评论数据可视化
阿熊的博客
04-23 703
使用Python读取该文件数据????weibo.csv，并且将数据可视化。 时间：x轴 attitudes_count与comments_count：y轴 设置图片美观，清晰 from matplotlib import pyplot as plt import matplotlib import csv # 设置中文显示 font = { 'family':'SimHei', ...
【DeeplabV3+ 指标可视化】DeeplabV3+评价指标可视化
计算机视觉方面的点点滴滴，欢迎一起讨论
04-19 2097
文章目录1 评价指标可视化用在何处2 show_results()代码理解3 输出结果展示4 感谢链接 1 评价指标可视化用在何处 在文章DeeplabV3+计算评价指标中给出了分割模型的评价指标有哪些，以及如何计算，在得到验证集的各项指标后，没点可视化操作显得不够专业，故增加此文。 if __name__ == "__main__": # --------------------------------------------------------# # hist：验
评论爬取与可视化
qq_47828130的博客
06-04 234
爬取评论+可视化
使用Python分析网易云歌曲评论信息并可视化处理
这家伙很懒，什么都没有留下
03-19 2084
本文通过Python技术对网易云歌曲评论信息进行了分析和可视化处理。首先介绍了数据获取与预处理的方法，包括爬虫技术的使用和数据的清洗。然后详细阐述了评论分析的过程，包括情感分析和关键词提取。最后，通过可视化技术将分析结果以直观的方式展示出来，帮助用户更好地理解评论数据。然而，本文只是一个起点，实际的应用场景和分析方法还有很多可以探索和改进的地方。例如，可以进一步深入研究情感分析的准确性和可靠性，或者结合其他数据源（如歌曲的属性、歌手的信息等）进行更全面的分析。
WordCloud词云实现电视剧评论可视化
z2bns的博客
07-05 584
以腾讯视频平台上电视剧《琅琊榜》为例，爬取评论进行可视化汇总 1、首先浏览器打开腾讯视频网站播放《琅琊榜》，按F12进入开发者工具调试，点击网页上“查看更多评论”然后查看网络日志，可以看到右侧请求的记录 在浏览器打开查看，url为https://video.coral.qq.com/varticle/1210555765/comment/v2?callback=_varticle1210555765commentv2&orinum=10&oriorder=o&pageflag
爬取《水门桥》电影评论生成可视化数据及词云
zhongzhongge的专栏
02-06 4180
一、爬取电影评论 壬寅年春节贺岁电影《长津湖-水门桥》，为了分析这部剧的各项数据，用爬虫的方法从猫眼上爬取了4万多条电影评论。 1、为了防止地址被禁，使用了代理地址池进行爬取： 设置代理地址方法，可以从如下几个免费网站获取代理地址 开放代理 - 快代理 免费代理ip_服务器http代理_最新ip代理_免费ip提取网站_国内外代理_66免费代理ip 89免费代理IP - 完全免费的优质HTTP代理IP供应平台 云代理 - 高品质http代理ip供应平台/每天分享大量免费代理IP 我..
爬取携程网游记并实现可视化
05-18
这个任务可以分为两个部分来实现：爬取携程网游记数据和可视化。 首先，我们需要通过 Python 爬虫来获取携程网上的游记数据。具体的流程可以分为以下几个步骤： 1. 确定目标网址，例如：https://you.ctrip.com/travels/china110000/t3/ 2. 使用 requests 库发送 GET 请求，获取网页源代码。 3. 使用 BeautifulSoup 库解析网页源代码。 4. 从解析后的结果中提取游记信息，例如游记标题、游记作者、游记链接等等。 5. 将提取出的数据保存到本地文件或数据库中。 接下来，我们需要对获取到的游记数据进行可视化处理。具体的流程可以分为以下几个步骤： 1. 使用 pandas 库读取保存的游记数据。 2. 对数据进行清洗和预处理，例如去除缺失值、重复值等。 3. 使用 matplotlib 或者 seaborn 库绘制可视化图表，例如柱状图、散点图、词云图等等。 4. 将绘制好的图表保存到本地或者展示在网页上。 总的来说，这个任务需要掌握 Python 爬虫、数据清洗和可视化处理的基本技能。如果你还没有相关的经验，可以先学习相关的教程和文档，再尝试实现这个任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值