- 博客(15)
- 收藏
- 关注
RSS订阅原创 Spark SQL结构化数据文件处理
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL和三种方式实现对结构化数据的处理。已存在的RDD调用toDF()方法转换得到DataFrame通过Spark读取数据源直接创建DataFrame1，RDD、DataFrame及Dataset的区别RDD数据。
2024-05-16 11:14:06
881
原创 Echarts异步数据加载
设置动画时间setTimeout()函数（1000就是动画设置为1秒）组件设置，数据之类的都包在mychart.setOption里。$.get("咖啡店各年订单.调用json文件里的data数据。加载数据完成后，隐藏。
2024-05-15 10:03:32
206
原创 Echarts无人售货机梳理
分析：由图可以看出，除销售金额外，其余各特征的环比增长率均大于0；平均每天的销售额在5000元以上，每日销售金额环比增长率波动幅度较大，2019年9月26日销售额的增长速度最快；在支付方式上，用户普遍使用微信或支付宝的方式进行支付。
2024-05-13 10:28:41
1119
2
原创 scala高阶函数练习
比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)1、定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。2、定义一个高阶函数，对数据中的元素按照指定的规则进行过滤。规则: 对集合中每个元素进行操作，得到集合每个元素的长度。比如:Array(10,4,6,10,2)3、对数据中的元素按照指定规则进行分组。4、根据指定规则对数组所有元素聚合。规则: 按照地址进行分组。规则: 只保留偶数数据。
2024-03-22 14:46:55
156
原创 ECharts第二章实训
实训1 会员基本信息及消费能力对比分析。1，不同级别会员数量变化分布图。3，城市购买总金额分布情况。1,会员入会方式分布情况。实训2 会员数量相关分析。2，会员年龄段分布情况。
2024-03-18 11:15:10
558
原创 绘制饼图与瀑布图
1，圆环图是在圆环中显示数据的图形，其中每个圆弧代表一个数据项，用于对比分类数据的数值大小。圆环图与标准饼图属于饼图这一图表大类，只不过更美观，更有吸引力。1，嵌套饼图用于在每个类别中再嵌套多个类别，反映各类数据之间的比例关系。嵌套饼图即两种饼图的嵌套，外层是一个环形图，内层是一个标准饼图或环形图。1，瀑布图是柱状图的一种特例，相对于饼图，瀑布图的优势在于当拆解项较多时，通过数字的标记仍可清晰辨识，而饼图在分解项大于5时不易分辨。1，饼图常用于描述百分比构成，其中每一个扇形代表一个数据所占的比例。
2024-03-18 10:33:55
363
原创 数据可视化xy轴的定制
坐标轴的结构相同，主要包括轴脊、刻度，其中刻度又可以细分为刻度线和刻度标签，刻度线又可以细分为主刻度线和次刻度线。坐标轴的各部分均是matplotlib类的对象：坐标轴是axis.Axis类的对象；轴脊是spines.Spine类的对象；刻度是axis.Ticker类的对象。在绘制图表的过程中，matplotlib会根据所绘制图表的类型决定是否使用坐标系，或者显示哪种类型的坐标系。触发时机：triggerOn(mouseover、click)spines：获取包含全部轴脊的字典。xaxis：获取x轴。
2024-03-13 10:08:49
404
原创 Spark大数据处理与分析
当子RDD的某一个分区的数据丢失时，若是窄依赖，只需重算和该分区对应的父RDD分区即可，而宽依赖则可能需要重算父RDD的所有分区。1.运行模式多样，可运行于独立的集群模式，Hadoop，Amazon EC2等云环境中，并且可以访问HDFS，Cassandra，HBase，HIve等多种数据源。宽依赖是指，父RDD的一个分区被子RDD的多个分区所用。现有容错机制：数据复制或者记录日志RDD具有天生的容错性：血缘关系，重新计算丢失分区，无需回滚系统，重算过程在不同节点之间并行，只记录粗粒度的操作。
2024-03-06 11:18:16
1970
原创 Visual Studio Code安装
1.从官方网站（https://code.visualstudio.com/）下载适用于你操作系统的Visual Studio Code安装包。新建java project，在folder添加css，image，js。
2024-03-04 11:29:05
352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人