- 博客(19)
- 收藏
- 关注
RSS订阅原创 SparkSQL编程初级实践
请将数据复制保存到Linux系统中，命名为employee.txt，实现从RDD转换得到DataFrame，并按“id:1,name:Ella,age:36”的格式打印出DataFrame的所有数据。（2）配置Spark通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如表5-3所示的两行数据到MySQL中，最后打印出age的最大值和age的总和。（1）在MySQL数据库中新建数据库sparktest，再创建表employee，包含如表5-2所示的两行数据。
2023-12-20 16:34:22
644
原创 Spark SQL
DataFrame的出现使RDD的转化方式更加简单易用，并且获得了更高的计算性能。能够轻松实现MySQL到DataFrame的转化，并且支持SQL查询。RDD无法看见对象内部结构信息，DataFrame可以。RDD：DataFrame：PersonnameagePersonStringInt制作表头表头是表的模式,包含字段名称,字段类型,是否允许为null等信息,这里表头采用类StructTyple(fields=None)来表示。
2023-12-20 16:21:18
38
原创 python面向对象编程（1）
（4）使用运算符+和-为Time对象定义加法和减法操作，例如t1+t1表示基于当前时间t1向后延长一段t2时间，而t1-t2则表示基于当前时间t1向前提前一段t2时间。教师类（Teacher）继承了学校成员类，该类还记录了教师的职称(title)、工资(salary)、奖金(prize)等信息。（2）t.hours()、t. minutes()和t. seconds()分别返回时间对象t的小时、分钟和秒钟值。（2）能反映学校成员总人数的增减变化，即每创建一个对象时，则总人数加1；而对象注销时，总人数减1。
2023-12-18 15:01:45
44
原创 python面向对象编程（2）
2、 在图书管理系统中，读者类（Reader）是一个父类，该类包括读者编号(rid)、姓名(name) 所在部门(dept)3个公有的实例属性，以及读者人数(counts)1个私有的类属性。学生读者类（TeaReader）是读者类（Reader）的一个子类，它除了继承父类的公有属性外，还具有学生读者最大借阅数(max_borrow) 和学生读者数(sNums)2个公有的类属性。它除了继承父类的公有属性外，还具有教师读者最大借阅数(max_borrow)和教师读者数(tNums)2个公有的类属性。
2023-12-18 14:57:17
21
原创 python文件处理（1）
*1.1 **用Python语言中文分词第三方库jieba对文件data.txt进行分词，并选择长度大于等于3个字符的关键词，写入文件out1.txt， 每行一个关键词，各行的关键词不重复，输出顺序不做要求。**1.2 **对文件夹下的文件data.txt进行分词，对长度不少于3个字符的关键词，统计出现的次数，按照出现次数由大到小的顺序输出到文件out2.txt,每行一个关键词及其出现次数。②全部课程及格(成绩大于等于60)。
2023-12-18 14:55:08
32
原创 python函数简单应用(1)
来存储其指数和系数，例如2x5-3x+1可以用字典{5:2,1:-3,0:1}来表示，其中的键表示项的指数，而值表示项的系数。4、编写一个接收年月日作为输入参数的函数，输出参数所指定的日期是一年中的第几天。例如每年的1月1日都是本年度的第1天， 2023年的3月1日是本年的第60天，而2024年（闰年）的3月1日则是本年的第61天。3、输出如下数列在1000以内的值，以逗号分隔：k(0)=1,k(1)=2,k(n)=k(n-1)2+ k(n-2)2，其中k(n)表示该数列。5、多项式求和问题。
2023-12-18 14:53:13
85
原创 python各种类型的修改整理统计
（1）建立一个名为dt2的字典，该字典包含两个键值对，分别是：‘k2’:{‘a’,‘b’}和’k3’:[1,3]1、对于列表all_list1=[1,‘word’,{‘like’:‘pythom’},True,[1,2]]（6）提取字符串s中的单词，去掉重复的单词，并把不重复的单词放到一个列表中并输出该列表。（7）得到dt2中键为’k6’的键值对所对应的值，没有该键值对的话就返回0。（6）把dt2中的键值对’k3’:[1,3]修改为’k3’:[1,8]（6）删除该列表中的’word’字符串元素。
2023-12-18 14:52:40
31
原创 python数据结构的处理（二）
（1）从键盘输入两个100以内的正整数（2）先求出每个正整数的所有约数，这些约数可以用列表或集合存放（3）通过集合运算，求出这两个正整数的所有公约数，并找出它们的最大公约数（4）根据最小公倍数数等于两个正整数的乘积除以它们最大公约数的商这一结论，求出最小公倍数（例如，24与36的最小公倍数=24*36/12，而12就是24与36的最大公约数）。
2023-12-18 14:52:05
26
原创 python数据结构的处理（一）
1、通过用户输入的身份证号，输出对应的出生日期。简单的列表2、自幂数是指一个n位数 (n≥3)，它的每个位上的数字的n次幂之和等于它本身。例如153就是一个自幂数(当n=3时也称为水仙花数)，因为153=13+3^3。请按下面的运行结果找出用户输入范围内的所有自幂数。对列表和字符串的方法运用的简单使用。
2023-12-18 14:51:33
26
原创 python数据结构学习笔记
字典属于映射类型的数据结构，元素就是键所对应的值。字典包含任意类型的数据结构作为元素的集合，各元素都有与之对应的唯一的键，字典通过访问键来访问对应的元素。字典中的键必须是不可变的数据类型对象，如数字，字符串，元组等 ，键和值的映射关系表现为：key：value。指只包含两个元素的序列，如 [‘name’,‘age’], (18,“boy”), ‘ab’由此可以很直观的看出:元组采用" ( ) “,列表采用”[ ]"（1）keys： 用于获取字典中的所有键。
2023-12-18 14:51:01
17
原创 程序控制流语句（二）
允许重复输入成绩进行转换，直接输入回车时结束程序。在玩数7游戏中，要求凡是数到7、7的倍数、以及带7的正整数时一律（例如7、14、27都要跳过）不允许说出来，请按这种规则输出100以内允许说出来的那些正整数，要求每行最多输出10个。成绩大于或等于90且小于或等于100的输出为“A”，成绩小于60的输出为“E”。
2023-12-18 14:50:29
13
原创 Spark在伪分布式上搭建
这样便完成安装，这个时候我们查看python版本发现还是python2，原因是python为默认编译方式，但是我们的python3环境已经存在，后续环境中已经配置完成。第一步拷贝文件到uploads目录下（这里我创建了一个spark目录，把老师的文件全部放在了spark目录里，如果不跟我一样后面的cd目录操作自行修改）第二步检查python版本，版本不对要下载python3.0+第三步解压缩spark（进入spark目录下去解压缩）启动界面如此，即正常启动完成。第五步，启动pyspark。
2023-12-06 08:46:40
38
原创 Hadoop搭建伪分布式集群环境
如果权限不够需要进入su超级管理员，或者采用sudo mkdir servers构建，这里我就遇到了这样的问题。（也可以在linux中对应目录下采用mkdir uploads 指令实现，此处不赘述）后来发现这里漏添加了servers目录，在后续补上了，不影响环境的搭建！这里我新建的为server，老师的是servers，后续我修改回来了不必在意。进入刚刚新建的uploads文件目录下，把文件复制到虚拟机中。补：前面漏缺了servers的目录构建，此处进行弥补。如果不配置每次启动ip会发生变化！
2023-12-06 08:42:43
41
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人