邮件显示统计图表echarts-java+phantomjs实现

邮件显示统计图表echarts-java+phantomjs实现

项目背景是产品业务上的订阅推送,纯java后端实现,通过邮件将统计报表发送给用户。这里会涉及一些关键点:

  • 首先是统计图表的生成,我们采用常见的echarts,简单易用,支持图表类型丰富美观;java后端实现可使用echarts-java来实现图表的生成。
  • 其次使用模板渲染的方式将获取到的订阅数据(标题,日期,描述,统计图表,列表)渲染成html,这里使用handlebars实现模板渲染。文档地址:handlebarsjs.com/zh/guide/
  • 将渲染后的html,作为邮件内容发送给想用用户。

1 首选解决echarts图表生成

 

xml

复制代码

<!-- https://mvnrepository.com/artifact/org.icepear.echarts/echarts-java --> <dependency> <groupId>org.icepear.echarts</groupId> <artifactId>echarts-java</artifactId> <version>1.0.7</version> </dependency>

项目中添加上述依赖,echarts-java为java生成echarts的option或者完整的html提供了简洁的接口。目前好像不在更新维护了,所以没有提供直接生成图片或者相关的功能。

 

java

复制代码

@Slf4j public class ChartGenHandle { private static final String TEMPLATE_PREFIX = "templates/"; private static final String EMPTY_REPORT = "empty-push-template"; private static final String BO_REPORT = "bo-push-template"; private static final String REPORT_CENTER = "center"; public static final Map<String, Template> TEMPLATES = new ConcurrentHashMap<>(); public static String genReport(String title, String summary, List<BaseNameValue<String, Integer>> barData, List<BaseNameValue<String, Integer>> pieData, List<ReportDataVO> details) { ReportVO reportData = new ReportVO(); try { Handlebars handlebars = new Handlebars(); String path = TEMPLATE_PREFIX + BO_REPORT; Template template = TEMPLATES.getOrDefault(path, handlebars.compile(path)); reportData.setTitle(title); reportData.setSummary(summary); Engine engine = new Engine(); reportData.setBar(engine.renderJsonOption(genBar(barData))); reportData.setPie(engine.renderJsonOption(genPie(pieData))); reportData.setDetails(details); return template.apply(reportData); } catch (IOException e) { log.error("报告生成异常:template=" + BO_REPORT + ",params=" + JSON.toJSONString(reportData), e); } return null; } public static String genHtml(Chart<?, ?> chart) { Engine engine = new Engine(); return engine.renderHtml(chart); } public static Bar genBar(List<BaseNameValue<String, Integer>> datas) { if (datas == null || datas.isEmpty()) { return new Bar().setTitle(new Title() .setLeft(REPORT_CENTER).setRight(REPORT_CENTER).setTop(REPORT_CENTER).setBottom(REPORT_CENTER) .setText("无数据").setTextStyle(new Label().setFontSize(20).setFontWeight("normal"))); } String[] names = new String[datas.size()]; Integer[] values = new Integer[datas.size()]; for (int i = 0; i < datas.size(); i++) { BaseNameValue<String, Integer> data = datas.get(i); names[i] = data.getName(); values[i] = data.getValue(); } return new Bar().setLegend().setTooltip("item") .addXAxis(names) .addYAxis() .addSeries(values); } public static Pie genPie(List<BaseNameValue<String, Integer>> datas) { if (datas == null || datas.isEmpty()) { return new Pie().setTitle(new Title() .setLeft(REPORT_CENTER).setRight(REPORT_CENTER).setTop(REPORT_CENTER).setBottom(REPORT_CENTER) .setText("无数据").setTextStyle(new Label().setFontSize(20).setFontWeight("normal"))); } List<PieDataItem> items = datas.stream().map(data -> new PieDataItem().setName(data.getName()).setValue(data.getValue())) .collect(Collectors.toList()); return new Pie() .addSeries(new PieSeries() .setRadius(new String[]{"40%", "70%"}) .setItemStyle(new PieItemStyle().setBorderRadius(10).setBorderColor("#fff").setBorderWidth(2)) .setLabel(new PieLabel().setShow(true).setPosition("outside").setFormatter("{b}:{c}({d}%)") .setFontWeight("bold").setOverflow("break")) .setData(items.toArray())); } } @Data class ReportVO { private String title; private String summary; private String pushDate; private String bar; private String pie; private List<ReportDataVO> details; } @Data class ReportDataVO { private String name; private String area; private String age; } @Data class BaseNameValue<K, V> { private K name; private V value; }

模板如下:

整理了这份面试笔记包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、Kafka 面试专题

需要全套面试笔记【点击此处】即可免费获取

xml

复制代码

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"/> <meta http-equiv="X-UA-Compatible" content="IE=edge"/> <meta name="viewport" content="width=device-width, initial-scale=1.0"/> <script src="https://cdnjs.cloudflare.com/ajax/libs/echarts/5.2.2/echarts.min.js" integrity="sha512-ivdGNkeO+FTZH5ZoVC4gS4ovGSiWc+6v60/hvHkccaMN2BXchfKdvEZtviy5L4xSpF8NPsfS0EVNSGf+EsUdxA==" crossorigin="anonymous" referrerpolicy="no-referrer"></script> <title>推送报告</title> </head> <body class="mail-template"> <h1>{{title}}</h1> <h3 align="center">来源:<a href="http://xxxxxxx">推送平台</a> </h3> <section class="business-overview"> <h2>1、概览</h2> <div class="content">{{{summary}}}</div> </section> <section class="business-type"> <h2>2、统计</h2> <h3>区域分布</h3> <div id="area-bar" style="height: 600px"></div> <h3>年龄分布</h3> <div id="age-pie" style="height: 600px"></div> </section> <h2>3、明细</h2> <div> <table> <tr> <th>名称</th> <th>地区</th> <th>年龄</th> </tr> {{#each details ~}} <tr> <td> {{name}}</td> <td> {{area}}</td> <td> {{age}}</td> </tr> {{~/each}} </table> </div> <script> let area = echarts.init(document.getElementById('area-bar')); let areaBar = {{{bar}}}; area.setOption(areaBar); let age = echarts.init(document.getElementById('age-pie')); let agePie = {{{pie}}}; age.setOption(agePie); </script> </body> </html> <style> .mail-template h1:nth-child(1) {display: flex; justify-content: center;} .mail-template .business-overview .content {width: calc(100% - 40px);padding:6px;} .mail-template .business-type #area-bar {width: 100%;} .mail-template table {width: 100%;} .mail-template table tr:nth-child(1) {background: #fafafa;height: 48px;} .mail-template table tr:nth-child(1) th:nth-child(1) {width: 200px;} .mail-template table tr:nth-child(1) th:nth-child(n + 2) {width: 120px;} .mail-template table td { padding: 12px;border: 1px solid #f0f0f0;} .mail-template { padding: 12px; } </style>

上述代码生成的html如下所示:

image.png

到此为止,我们实现了生成逻辑的核心代码,但是如果在邮件中显示还是个问题,因为在邮件中没法执行js脚本,所有上述生成的html直接作为邮件内容,是没办法显示图表的。

2 phantomjs应用

因为没办法直接在邮件中使用js来渲染统计图表,所以我们只能采用往邮件里面插入生成好的图表图片来实现。一般有两种方案,第一种是借用截图服务来实现,现在浏览器端实现一个统计图表页面,然后通过截图服务或者前端截图功能生成图片,然后将图片插入到邮件中。第二种是纯后端实现,这里就要采用phantomjs组件了。

PhantomJS是一个开源的、基于WebKit内核的、无界面的Web浏览器,可以用于网络监控、网页自动化、性能分析、截屏以及各类与Web相关的任务。它支持JavaScript语言,可以直接运行在命令行中。

1.下载安装phantomjs安装包 phantomjs.org/download.ht…

 

ruby

复制代码

解压缩 tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 配置环境变量 export PATH=$PATH:/home/webdev/phantomjs/phantomjs-2.1.1-linux-x86_64/bin source /etc/profile 运行测试脚本 examples>phantomjs hello.js hello,world! 运行过程中根据服务器环境的不同,可能会出现缺少一些依赖的底层环境,根据提示安装就好 比如:phantomjs: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/lib64/libstdc++.so.6) yum -y install fontconfig fongconfig-devel bitmap-fonts bitmap-fonts-cjk

2.base64生成

 

bash

复制代码

这里有个开源的项目,基于phantomjs生成echarts统计图的base64。 https://gitee.com/saintlee/echartsconvert

将项目下载下来,然后启动服务

 

bash

复制代码

nohup phantomjs ../echarts-convert.js -s & 默认的启动端口为9090

echartsconvert启动好之后,在程序里面通过http请求的方式,获取echarts图表的base64。 核心代码如下:调用前先看下面 [注意事项]

 

java

复制代码

public static void main(String[] args) throws IOException { // opt是echarts图表的option,可调用handlebars的 egine.renderJsonOption()方法获得 String opt = "{\"series\":[{\"type\":\"pie\",\"data\":[{\"name\":\"新增企业\",\"value\":1}],\"itemStyle\":{\"borderColor\":\"#fff\",\"borderWidth\":2,\"borderRadius\":10},\"label\":{\"fontWeight\":\"bold\",\"show\":true,\"position\":\"outside\",\"overflow\":\"break\",\"formatter\":\"{b}:{c}({d}%)\"},\"radius\":[\"40%\",\"70%\"]}]}"; // PhantomJS 服务器地址 String url = "http://1.13.102.102:9090"; opt = opt.replaceAll("\\s+", "").replaceAll("\"", "'"); List<NameValuePair> nvp = new ArrayList<>(); nvp.add(new BasicNameValuePair("opt", opt)); String res = Request.Post(url) .bodyForm(nvp, StandardCharsets.UTF_8) .addHeader("Content-Type", "application/x-www-form-urlencoded;charset=UTF-8") .execute().returnContent().asString(StandardCharsets.UTF_8); System.out.println(res); } //echartsconvert返回结果的结构如下 { "code": 1, "msg": "success", "data": "base64字符串" }

如此我们就解决了大部分难题,获取了统计图的base64,这时候需要简单调整下html模板,调整点如下

 

html

复制代码

<section class="business-type"> <h2>2、统计</h2> <h3>区域分布</h3> <div id="area-bar" style="height:400px"><img src="data:image/png;base64,{{{bar}}}></div> <h3>年龄分布</h3> <div id="age-pie" style="height: 400px"><img src="data:image/png;base64,{{{pie}}}></div> </section> #上面用{{{pie}}}是为了防止base64里面的特殊字符被转义。

[注意事项]:对于echartsconvert项目存在两个问题,请求编码导致的响应超时和中文无法显示问题

 

javascript

复制代码

1:饼图绘制不了,request时就卡住的问题 solution1:此处并不是饼图绘制不了,而是只要opt中含有'%'都会挂,原因是作者在代码里执行了两次decodeURIComponent(详情参考echarts-convert.js源码259行),所以'%'传递时也必需encode两次,否则会造成%后的json串无法被decode导致卡住的问题。 此处可以将'%'替换为'%25'解决,或是改源码将decodeURIComponent改为一次,暂时没有发现改为一次decode会出现中文问题 2:项目上linux服务器后,图片内所有中文无法显示问题 <br> solution2:此处并不是echarts或convert本身造成的,而是linux服务器上没有匹配的字符集 此处执行linux字符集安装即可 在centos中执行:yum install bitmap-fonts bitmap-fonts-cjk 在ubuntu中执行:sudo apt-get install xfonts-wqy 项目的issues列表中大佬给出的解决方案:https://gitee.com/saintlee/echartsconvert/issues/IYDDU

  • 19
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Selenium是一个用于自动化浏览器操作的工具,而PhantomJS是一个无界面的浏览器。它们可以结合使用来进行爬虫操作。使用Selenium和PhantomJS,你可以模拟用户在浏览器中的操作,例如点击、填写表单等。这样就可以实现爬取网页数据的功能。 安装Selenium和PhantomJS的步骤如下: 1. 首先确保你已经安装了Python 3.5以及pip。 2. 使用pip安装Selenium,运行以下命令: ``` pip install selenium ``` 3. 下载PhantomJS并解压到Python的Scripts目录中。具体下载链接请参考中提供的系统环境下载说明。 安装完成后,你就可以开始使用Selenium和PhantomJS实现爬虫功能了。你可以参考中提供的示例代码来学习如何使用Selenium和PhantomJS进行网页爬取。 此外,关于使用Selenium和PhantomJS进行数据爬取的方法,你可以按照以下步骤进行: 1. 使用Selenium和PhantomJS打开目标网页,模拟用户在浏览器中的操作来获取数据。 2. 如果网页使用了ajax接口来加载数据,你可以通过分析网页源代码或使用开发者工具来找到数据来源的接口,并发送请求获取数据。 3. 如果你只需要获取列表页的数据,可以在第一次爬取时只爬取列表页,将详情页的URL放到每条数据中心。这样可以避免增加请求数量。 4. 如果需要获取详情页的数据,可以在第二次爬取时从数据库中提取详情页URL,并使用Selenium和PhantomJS来爬取详情页的数据。 希望这些信息能对你有所帮助。如果你有其他问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值