大数据
文章平均质量分 71
又迷茫了
普通一名大学生
展开
-
可视化-实验五-Pyecharts工具包的使用及文本数据可视化
由于pyecharts背后封装的js库,会涉及到数据类型转化。它暂时要求输入数据必须是python的基础数据类型,比如字符串,列表,字典,而不能是序列这样的数据类型。因此序列输入需要事先被转化为list等基础数据类型才能被pyecharts支持。参考代码段:2、自行设计数据,生成饼图随机生成数据方法(也可以自行设计数据,注意数据格式是列表):图5-3 随机生成数据以自己随机生成的数据/自行设计的数据为基础,生成基础饼图1、复现极坐标绘制效果半径表示日期:参考:https://gallery.pyechart原创 2024-05-10 09:00:00 · 662 阅读 · 0 评论 -
可视化-实验四- seaborn工具包绘图基础及关系
一、任务一。原创 2024-05-09 09:00:00 · 853 阅读 · 0 评论 -
可视化实验三 Matplotlib库绘图及时变数据可视化
一个通常的 对象需要一个 我们想要动画的对象和一个 修改绘制在图形上的数据的函数func。人口数据总共拥有4个特征,分别为就业人员、第一产业人员、第二产业人员、第三产业就业人员。基于1的数据,绘制3个产业就业人员数据的饼图、柱状图和箱线图。通过柱形图可以对比分析各产业就业人员数量,通过饼图可以发现各产业就业人员的变化,绘制每个特征的箱线图则可以发现不同特征增长或减少的速率变化。并说明下选择的图形适合用来处理哪一类型的数据(时变、比例、关系、复杂数据)。是灵活的,因为它允许任何可迭代的艺术家按顺序动画。原创 2024-05-08 17:04:11 · 899 阅读 · 0 评论 -
实验五 Spark Structured Streaming编程实践
在新开的终端内输入 vi spark_exercise_testsyslog1.py ,贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令,否则多次运行测试可能导致没有新数据生成。在新开的终端内输入 vi spark_exercise_testsyslog3.py ,贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令,否则多次运行测试可能导致没有新数据生成。原创 2024-05-08 16:54:58 · 489 阅读 · 0 评论 -
实验四 Spark Streaming编程初级实践
数据流:数据流通常被视为一个随时间延续而无限增长的动态数据集合,是一组顺序、大量、快速、连续到达的数据序列。通过对流数据处理,可以进行卫星云图监测、股市走向分析、网络攻击判断、传感器实时信号分析。原创 2024-04-02 00:14:15 · 1694 阅读 · 4 评论 -
实验二 pandas库绘图以及数据清洗
datacsv.plot.scatter(x="身高",y="体重",color="r")#散点图。plt.rcParams['font.family']=['STSong']#设置汉字字体。print(X.loc[1])#默认索引为0,1,2,3,4,由索引号(下标)引用元素。datacsv["体重"].plot(color="r")#折线图。datacsv["体重"].hist(color="r")sex=['女','男','男','女','男'datacsv["身高"].plot()#折线图。原创 2024-03-30 14:49:51 · 1355 阅读 · 0 评论 -
spark实验三 Spark SQL编程初级实践
将下列json数据复制到你的ubuntu系统/usr/local/spark下,并保存命名为employee.json。原创 2024-03-06 10:00:00 · 1791 阅读 · 0 评论 -
spark 实验二 RDD编程初级实践
请下载chapter4-data1.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:Jim,,60……原创 2024-03-05 14:52:35 · 1573 阅读 · 0 评论 -
pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
【代码】pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver。原创 2024-03-05 13:52:35 · 559 阅读 · 0 评论 -
[ERROR] Failed falling back to unsupportedjava.lang.NumberFormatException: For input string: “0x100“
解决办法。原创 2024-03-05 13:22:57 · 326 阅读 · 0 评论 -
spark的保姆级配置教程
如果报以下错误,就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名,重命名为。在文件后面追加下面的内容。路径根据你自己的修改。原创 2024-02-28 22:34:15 · 1684 阅读 · 0 评论 -
sqoop的安装配置教程
sqoop的安装配置原创 2023-12-11 23:29:28 · 669 阅读 · 0 评论 -
解决Hive报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
【代码】解决Hive报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。原创 2023-12-04 10:40:06 · 917 阅读 · 2 评论 -
hive的安装和配置
把相关配置修改成你自己的hive。原创 2023-12-04 10:33:28 · 318 阅读 · 0 评论 -
kafka的安装教程
zkServer这个页面不动,不是卡了(这个页面不能关闭),打开就相当于在运行。原创 2023-11-11 09:00:00 · 144 阅读 · 0 评论 -
Hbase java api操作
【代码】Hbase java api操作。原创 2023-11-10 10:00:00 · 51 阅读 · 1 评论 -
Scrapy的安装和使用教程
cd 项目名称这样就会生成爬虫文件:(我的爬虫ptu_index)原创 2023-11-08 16:21:21 · 140 阅读 · 1 评论