- 博客(54)
- 收藏
- 关注
RSS订阅原创 可视化-实验五-Pyecharts工具包的使用及文本数据可视化
由于pyecharts背后封装的js库，会涉及到数据类型转化。它暂时要求输入数据必须是python的基础数据类型，比如字符串，列表，字典，而不能是序列这样的数据类型。因此序列输入需要事先被转化为list等基础数据类型才能被pyecharts支持。参考代码段：2、自行设计数据，生成饼图随机生成数据方法（也可以自行设计数据，注意数据格式是列表）：图5-3 随机生成数据以自己随机生成的数据/自行设计的数据为基础，生成基础饼图1、复现极坐标绘制效果半径表示日期：参考：https://gallery.pyechart
2024-05-10 09:00:00
704
原创 可视化实验三 Matplotlib库绘图及时变数据可视化
一个通常的 对象需要一个 我们想要动画的对象和一个 修改绘制在图形上的数据的函数func。人口数据总共拥有4个特征，分别为就业人员、第一产业人员、第二产业人员、第三产业就业人员。基于1的数据，绘制3个产业就业人员数据的饼图、柱状图和箱线图。通过柱形图可以对比分析各产业就业人员数量，通过饼图可以发现各产业就业人员的变化，绘制每个特征的箱线图则可以发现不同特征增长或减少的速率变化。并说明下选择的图形适合用来处理哪一类型的数据（时变、比例、关系、复杂数据）。是灵活的，因为它允许任何可迭代的艺术家按顺序动画。
2024-05-08 17:04:11
906
原创 实验五 Spark Structured Streaming编程实践
在新开的终端内输入 vi spark_exercise_testsyslog1.py ，贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令，否则多次运行测试可能导致没有新数据生成。在新开的终端内输入 vi spark_exercise_testsyslog3.py ，贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令，否则多次运行测试可能导致没有新数据生成。
2024-05-08 16:54:58
499
原创 2023年团体程序设计天梯赛-总决赛 L1 -L2
分数 5什么是机器学习？面试官：9 + 10 等于多少？答：3面试官：差远了，是19。答：16面试官：错了，是19。答：18面试官：不，是19。答：19本题就请你模仿这个“机器学习程序”的行为。输入格式：输入在一行中给出两个整数，绝对值都不超过 100，中间用一个空格分开，分别表示面试官给出的两个数字 A 和 B。输出格式：要求你输出 4 行，每行一个数字。第 1 行比正确结果少 16，第 2 行少 3，第 3 行少 1，最后一行才输出 A+B 的正确结果。9 1031618。
2024-04-18 15:26:52
1119
原创 2022年团体程序设计天梯赛-总决赛 L1 -L2
输入格式:输入第一行是三个整数 N,M,Q (1≤N×M≤105，0≤Q≤1000)，表示地图为 N 行 M 列大小以及选择的行/列数量。接下来 Q 行，每行两个数 Ti,Ci，其中 Ti=0 表示 BOSS 选择的是一整行，Ti=1 表示选择的是一整列，Ci 为选择的行号/列号。行和列的编号均从 1 开始。输出格式:输出一个数，表示安全格子的数量。
2024-04-17 20:25:35
647
原创 L2-2 老板的作息表
新浪微博上有人发了某老板的作息时间表，表示其每天 4:30 就起床了。但立刻有眼尖的网友问：这时间表不完整啊，早上九点到下午一点干啥了？本题就请你编写程序，检查任意一张时间表，找出其中没写出来的时间段。
2024-04-17 20:10:49
292
原创 PTA L2-045 堆宝塔 (25 分)
堆宝塔游戏是让小朋友根据抓到的彩虹圈的直径大小，按照从大到小的顺序堆起宝塔。但彩虹圈不一定是按照直径的大小顺序抓到的。重复此步骤，直到所有的彩虹圈都被抓完。最后 A 柱上剩下的宝塔作为一件成品，B 柱上剩下的彩虹圈被逐一取下，堆成另一座宝塔。问：宝宝一共堆出了几个宝塔？最高的宝塔有多少层？
2024-04-17 20:02:17
526
1
原创 实验四 Spark Streaming编程初级实践
数据流：数据流通常被视为一个随时间延续而无限增长的动态数据集合，是一组顺序、大量、快速、连续到达的数据序列。通过对流数据处理，可以进行卫星云图监测、股市走向分析、网络攻击判断、传感器实时信号分析。
2024-04-02 00:14:15
1717
4
原创 实验二 pandas库绘图以及数据清洗
datacsv.plot.scatter(x="身高",y="体重",color="r")#散点图。plt.rcParams['font.family']=['STSong']#设置汉字字体。print(X.loc[1])#默认索引为0,1,2,3,4，由索引号（下标）引用元素。datacsv["体重"].plot(color="r")#折线图。datacsv["体重"].hist(color="r")sex=['女','男','男','女','男'datacsv["身高"].plot()#折线图。
2024-03-30 14:49:51
1365
原创 windows下的IDEA运用Scala 编写的 Apache Spark 应用程序
Ultimate 版本为旗舰版，需要付费，包括完整的功能Community 版本为社区版，免费，只支持部分功能。这里我们选择左边 Ultimate 版本进行下载，然后进行激活。编写Spark应用程序，该程序对HDFS文件中的数据文件peopleinfo.txt进行统计，计算得到男性总数、女性总数、男性最高身高、女性最高身高、男性最低身高、女性最低身高。，点击 Developer Tools，再点击 Intellij IDEA。下载地址：（这个适合3.1.x的版本）然后修改成下载的Maven路径。
2024-03-19 21:20:51
1075
原创 spark实验三 Spark SQL编程初级实践
将下列json数据复制到你的ubuntu系统/usr/local/spark下，并保存命名为employee.json。
2024-03-06 10:00:00
1838
原创 spark 实验二 RDD编程初级实践
请下载chapter4-data1.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Jim,,60……
2024-03-05 14:52:35
1601
原创 pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
【代码】pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver。
2024-03-05 13:52:35
573
原创 [ERROR] Failed falling back to unsupportedjava.lang.NumberFormatException: For input string: “0x100“
解决办法。
2024-03-05 13:22:57
330
原创 spark 报错总结
spark 报错：spark = SparkSession.builder() TypeError: 'Builder' object is not callable解决办法：.builder() 改为 .builder spark = SparkSession.builder() 改为 spark = SparkSession.builder
2024-03-05 10:20:53
696
原创 spark的保姆级配置教程
如果报以下错误，就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名，重命名为。在文件后面追加下面的内容。路径根据你自己的修改。
2024-02-28 22:34:15
1828
原创 算法笔记（二）计算机基础知识
例：设 X = 10101110， 取X的低4位： X & 0000 1111 = 0000 1110 取X的第5位： X & 0000 1000 = 0000 1000。正数的原码 = 反码 = 补码，即符号位为0，位于首位，随后是二进制数的绝对值。因此可以用if (a & 1 == 0)代替if (a % 2 == 0)来判断a是不是偶数。①原码：符号位“1”+二进制数绝对值数值 ②反码：符号位“1”+数值位按位取反 ③补码：反码+“1”（末位）运算规则：0|0=0；运算规则：0^0=0；
2024-02-19 10:00:00
362
原创 算法笔记-语法基础
int -2147483648～+2147483647 (1e9) 4 byte int的最大值是个以二开头的十位数long long [int] -9223372036854775808 ～+9223372036854775807 8 byte long long 的最大值是一个以9开头的十九位的数。
2024-02-18 10:00:00
801
原创 算法笔记-背包问题详解
/求出每一个 f[i][j]f[i][j] =max(f[i - 1][j], f[i][j - v[i]] + w[i]);if(v[i]
2024-02-17 10:00:00
911
原创 算法笔记（一）基础算法
序列中选择一个数x(l或r或中间)，两个指针i和j从左侧和右侧向中间移动，i遇到大于x时停，j遇到小于x时停，然后交换，直至相遇。//比如当 n = 10 的时候，10 的二进制是 ：1010，所以有： lowbit ( 10 ) = 2。//比如当 n = 5 的时候，5 的二进制是 ：0101 ， 所以有：lowbit ( 5 ) = 1。bool check(int x) {/* ... */} // 检查x是否满足某种性质。int bsearch_1(int l, int r)//左边。
2024-02-16 12:33:39
823
1
原创 解决Hive报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
【代码】解决Hive报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。
2023-12-04 10:40:06
962
2
原创 hbase的基本操作
rowKey：0001 ，列名称：Name，值：姓名。rowKey：0001 ，列名称：Name。，值：姓名首字母缩写。
2023-11-09 09:00:00
677
1
原创 HDFS Java API的编写和使用
安装的Hadoop，需要和虚拟机的Hadoop版本相同，jdk版本也得相同。8.获取大文件分成的块信息。9. 获取集群上所有节点。
2023-11-02 10:00:00
144
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人