用wordcloud以及pyecharts进行信息画像

近期学习了一些信息画像操作,用wordcloud画词云图,用pyecharts画饼图、柱状图。

wordcloud:

import wordcloud
import pandas as pd
import collections
import jieba
import collections
#这里的csv为爬取电影《基督山伯爵》电影的豆瓣剧评信息

df=pd.resd_csv('./基督山伯爵.csv') #读取信息

content_str = ""
for row in df.index: #遍历循环
    content = df.loc[row,'content'] #这里的contenmt为CSV文中的评论信息
    content_str += content #以字符串的形式存放在content_str

seg_list_exact = jieba.cut(content_str, cut_all = False) #cut_all=True为全模式,false为精确模式
object_list = [] #存放过滤掉的分词
remove_words = []
with open("./停用词库.txt",'r',encoding='utf-8') as fp: #使用停用词库,去掉不必要的高频词
    for word in fp:             
        remove_words.append(word.replace("\n",""))
for word in seg_list_exact:
    if word not in remove_words: 
        object_list.append(word)

word_counts = collections.Counter(object_list) #将词数量统计,然后计数并返回一个字典,键为词,值为词个数
word_counts_top20 = word_counts.most_common(20)

wc=wordcloud.WordCloud(font_path='C:/Windows/Fonts/STSONG.TTF',background_color="white",max_words=150,max_font_size=60,width=700,height=500).generate_from_frequencies(word_counts)
#font_path为字体,这里导入的是电脑系统自带的字体样式
#background_color为背景颜色
#max_words显示词的最大数量,max_font_size字体大小,width宽度,height高度
#generate_from_frequencies:从频率字典中生成词云

plt.imshow(wc)
plt.axis('off') 
plt.show()

效果展示

pyecharts:

 

MAP:首先读取表格中省份数据,然后统计省份或直辖市出现的次数。(需要注意的是,可统计的只能是省份名称以及直辖市的名称,如北京市、四川省等字段,不能是四川省成都市等含有其他字段的名称,否则将不会地图中的数量统计)

import pandas as pd
from pyecharts.charts import Bar, Map, Pie, WordCloud
from pyecharts import options as opts
from pyecharts.globals import ThemeType
from pyecharts.render import make_snapshot
from snapshot_selenium import snapshot

warnings.simplefilter(action="ignore", category=SettingWithCopyWarning)
data = pd.read_csv('./temp/result1-2_EX2.csv')

#读取列表中的数据的信息
#value_counts()用来统计该列表中指定列里有多少个不同的数据值,并计算每个不同值有在该列中的个数
#reset_index()用来重置索引
map_data = data['工作城市'].value_counts().reset_index()
map_data.columns = ['工作城市', '需求量']

map_city = (
Map(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
.add('需求量', [list(z) for z in zip(map_data['期望工作城市'].tolist(), map_data['需求量'].tolist())], 'china')
.set_global_opts(title_opts=opts.TitleOpts(title='企业工作地点分析'),
visualmap_opts=opts.VisualMapOpts(max_=200))
)
map_city.render_notebook()

人数分布图

 PIE:用饼图来表示数量占比,并显示所占的百分比。

job_count = data['公司类型'].value_counts().reset_index()
job_count.columns = ['公司类型', '性质']

pie_job = (
    Pie(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
    .add('', job_count.values.tolist(), radius=['30%', '75%'])
    .set_global_opts(title_opts=opts.TitleOpts(title='公司类型分析'))
    .set_series_opts(label_opts=opts.LabelOpts(formatter='{b}: {c} ({d}%)'))
)
pie_job.render_notebook()

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
用户画像作为大数据的根基,它抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据基础,奠定了大数据时代的基石。 用户画像,即用户信息标签化,就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后,抽象出一个用户的商业全貌作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础,能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。 用户画像系统能很好地帮助企业分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度。构建一个用户画像,包括数据源端数据收集、数据预处理、行为建模、构建用户画像。有些标签是可以直接获取到的,有些标签需要通过数据挖掘分析到!本套课程会带着你一步一步的实现用户画像案例,掌握了本套课程内容,可以让你感受到Flink+ClickHouse技术架构的强大和大数据应用的广泛性。 在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。 包括我们的画像数据,也是有这方便的需求,那怎么才能达到秒级返回呢?ClickHouse正好满足我们的需求,它是非常的强大的。 本课程采用Flink+ClickHouse技术架构实现我们的画像系统,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。项目中采用到的算法包含Logistic Regression、Kmeans、TF-IDF等,Flink暂时支持的算法比较少,对于以上算法,本课程将带大家用Flink实现,并且结合真实场景,学完即用。系统包含所有终端的数据(移动端、PC端、小程序端),支持亿级数据量的分析和查询,并且是实时和近实时的对用户进行画像计算。本课程包含的画像指标包含:概况趋势,基础属性,行为特征,兴趣爱好,风险特征,消费特征,营销敏感度,用户标签信息,用户群里,商品关键字等几大指标模块,每个指标都会带大家实现。课程所涵盖的知识点包括:开发工具为:IDEA FlinkClickhouseHadoopHbaseKafkaCanalbinlogSpringBootSpringCloudHDFSVue.jsNode.jsElemntUIEcharts等等 课程亮点: 1.企业级实战、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.提供原始日志数据进行效果检测 4.Flink join企业级实战演练 5.第四代计算引擎Flink+ClickHouse技术架构6.微服务架构技术SpringBoot+SpringCloud技术架构7.算法处理包含Logistic Regression、Kmeans、TF-IDF等8.数据库实时同步落地方案实操9.统计终端的数据(移动端、PC端、小程序端) 10.支撑亿级海量数据的用户画像平台11.实时和近实时的对用户进行画像计算12.后端+大数据技术栈+前端可视化13.提供技术落地指导支持 14.课程凝聚讲师多年实战经验,经验直接复制15.掌握全部内容能独立进行大数据用户平台的设计和实操企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值