- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-02-28
1、sparkSQL层级 当我们想用sparkSQL来解决我们的需求时，其实说简单也简单，就经历了三步：读入数据 -> 对数据进行处理 -> 写入最后结果，那么这三个步骤用的主要类其实就三个：读入数据和写入最后结果用到两个类HiveContext和SQLContext，对数据进行处理用到的是DataFrame类，此类是你把数据从外部读入到内存后，数据在内存中进行存储的基本数据结构，在对数据进行处理时还会用到一些中间类，用到时在进行讲解。sparkSQL实战详解2、HiveContext和SQ
2021-02-28 21:46:47
101
原创 2020-12-01
类1.根据类来创建对象被称为实例化2.首字母大写的名称指的是类3.__init __ 方法 (切记两边各两个下划线)4.通过实例访问变量称为属性5.句点表示法演示了python如何获悉属性的值6.类可以创建多个实例7.类的每个属性都必须有初始值，哪怕是0或者空字符8.修改属性的值：①直接修改属性的值②通过方法修改属性的值③通过方法对属性的值进行递增9.python标准库就是一组模板10.类编码风格：驼峰命名法(类名首写字母大写，不用下划线，实例名和模板都小写，单词之间加下划线)[继承]
2020-12-01 14:43:59
59
原创 2020-11-22
一、环境搭建使用Anaconda3的jupyter notebook进行开发，官网下载，安装配置环境，打开cmd或prompt，输入jupyter notebook。注：IE浏览器进入WebUI需要token，token只有通过prompt命令行启动时才有——其他浏览器不需要anaconda-navigator #导航视窗jupyter notebook #开发本本默认的工作空间是用户目录，现在进行修改#生成jupyter的配置文件jupyter notebook --generate-co
2020-11-22 08:44:58
49
原创 2020-11-09
1、实用的函数：（1）dir([obj]) ——显示对象的属性，如果没有提供参数，则显示全局变量的名字；（2）help([obj])——显示对象的文档字符串，如果没有提供参数，则会进入交互式帮助；（3）int(obj) ——将一个对象转换为整数；（4）len(obj) ——返回对象的长度；（5）open(fn,mode)——以mode(‘r’,‘w’)方式打开一个名为fn的文件；（6）range( , )——返回一个整数列表，逗号前为起始值，逗号后为结束值，左开右闭；（7）raw_input(str)——
2020-11-09 19:12:17
600
原创 2020-11-04
标题Python注释注释的目的是让阅读人员能够轻松读懂每一行代码的意义，同时也为后期代码维护提供便利。在 Python 中，单行注释以 ＃ 号开头，如下所示：#第一个注释print(‘Hello,World!’)#第二个注释Python 的多行注释用两个三引号＇＇＇包含起来，如下所示：‘’’第一行注释第二行注释‘’’print(‘Hello,World!’)Python的行与缩进Python 最具特色的就是使用缩进来表示代码块，不需要使用大括号。缩进的空格数是可变的，但是同一个代码块的
2020-11-04 18:29:52
71
原创 Python函数
函数def 形参(实参):[传递实参：]1.位置实参：基于实参的顺序连接形参和实参(位置一定要一一对应)2.关键字实参：在括号内明确指出形参对应的实参3.形参可以设置成默认值 (建议少用)4.返回值：函数返回的值5.定义形参为空字符串可以让其变为可选状态(存储名字两个字三个字，多的字放在后)6.python将非空字符串理解为True7.传递列表：函数能直接访问内容8.在函数中修改列表：用于处理执行任务太多次数的工作9.functiong_name(list_name[:])#创造副本
2020-11-02 19:18:22
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人