- 博客(20)
- 收藏
- 关注
原创 hive分区-连接spark
有分区可以变快,便于查找。1.创建表分区、分桶CREATE TABLE par_table(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User')#注释 COMMENT 'This is the page view t...
2018-05-22 11:43:39 572
原创 spark
取值操作(RDD):take(n):返回n个元素top(n):返回最大的n个元素first():返回第一个元素collect():返回所有元素元素变换(RDD):1、map()map()函数需要一个参数,参数是一个函数,通过这个函数变换之后,返回一个新的RDD,函数一般用lambda2、flatMap()对RDD每一个元素执行函数变换,返回一个迭代器,最后展平结果3、filter()通过函数对元素...
2018-05-10 09:55:54 143
原创 Django_文件上传,富文本
创建html文件上传页面<form><inout type='file' ></form>表单的文件上传,设置文件提交按钮,后图为页面样式如果表单里有文件提交,必须要有enctype,表单里记得写csrf_token编辑表单提交路径,和提交方法创建upload方法,获取当前时间和文件名,打开该文件,循环遍历已获得文件,写入到打开的文件中,写入文件要.chunks...
2018-04-04 20:10:16 289
原创 登录权限跳转
session:会话,储存在服务器,只要登录成功,会一直存在,有存在的时长,时长过后自动退出登录,默认时长为两周,只能储存字典类型的数据,使用session要导入request.sessioncookie:(以键值队储存)将输入的账号密码以文件的形式储存起来,储存在客户端session和cookie的区别: session赋值:request.session['键名']=值session取值: r...
2018-04-02 22:32:29 1571
原创 Django_登录
python manger.py makemigrations相当于 在该app下建立 migrations目录,并记录下你所有的关于modes.py的改动,比如0001_initial.py在此之后执行命令python manager.py migrate将该改动作用到数据库文件,比如产生table之类所有类都要继承models.Model404:找不到页面403:token:跳转方式:Http...
2018-03-30 20:21:52 132
原创 Django-注册
创建文件步骤:file-newpraject-django 选择文件存储位置:Location:自选路径(python5_blog)APPname:自取名称(blog) 勾选ENABLE DJANGO admin,如果不勾选,则没有Blog文件夹创建成功后文件右一下文件:urls.py:路径跳转文件 settings.py:项目设置,中间件,数据库,根路径,静态文件,指定启动ws...
2018-03-28 19:29:12 152
原创 pymysql
先导入 PyMysql 模块 创建语句 最后关闭数据库 .close()链接数据库语句:变量名1=pymysql.connect('计算机地址','用户名','密码','数据库名')创建指针变量:变量名=变量名1.cursor();数据库查询:变量名.execute('查询语句') 指针变量.fetchone()获取一挑记录import pymysqldef getconn(): ...
2018-03-26 19:17:21 570
原创 mysql_索引
索引数据量较小,查询比较快,改善数据库性能;索引分类按存储类型:B-树索引,哈希索引,索引类型:普通索引:基本索引类型,允许在定义索引的列中插入重复值和空值;create index 表名(字段名)唯一索引:索引列数据不重复,允许有空值。create UNIQUE index 索引名 on 表名(字段名);主键索引:主键列中的每个值是非空,唯一的,一个主键将自动创建主键索引;复合索引:将多个列组合...
2018-03-23 18:21:26 91
原创 mysql_事务
if exists:判断是否,正确返回true,运行if前的语句,错误返回false,不运行if前的语句,select …… from 表名 where exists(子查询);n子查询有返回结果:EXISTS子查询结果为TRUEn子查询无返回结果:EXISTS子查询结果为FALSE,外层查询不执行select * from 表名 inner join 表名1 on 表名.字段名=表名1.字段名;...
2018-03-21 20:32:24 112
原创 mysql
#学生表CREATE TABLE student( studentNo INT(4) NOT NULL PRIMARY KEY COMMENT '学号', loginPwd VARCHAR(20) NOT NULL COMMENT'密码', studentName VARCHAR(20) NOT NULL COMMENT'姓名', sex CHAR(2) NOT NULL DEFAULT'男' C...
2018-03-19 21:18:52 199
原创 mysql第二章
创建外键:ALTER TABLE 表名 ADD CONSTRAINT 外键名 FOREIGN KEY(外键字段)REFERENCES 关联表名(关联字段)#创建外键 学生表和年级表ALTER TABLE student #修改表 加外键ADD CONSTRAINT fk_gradeId FOREIGN KEY(gradeid)#添加约束 约束的名字 字段REFERENCES grade...
2018-03-17 10:36:08 301
原创 mysql初章
*socket:套接字*server(服务器):给出IP地址,和端口号,accept等待客户机访问一个服务器可以拥有多个客户端oracle,mysql,sqlserver,db2:关系型数据库数据库的作用: 存储大量数据,方便检索和访问 保持数据信息的一致和完整 共享安全 通过组合分析,产生新的有用信息DB:database 数据库DBS:database system ...
2018-03-14 22:10:55 121
原创 python soket
网络编程:实现计算机与计算机之间的通信tcp:可靠,有状态的,长连接的协议udp:不可靠,发送的包要有顺序编号http:基于tcp的协议,无状态的协议ftp:文件传输协议pop3:邮局协议, smtp: 简单邮件传输协议网络7层协议:应用层(表示层,会话层)传输层,网络层,数据链路层,物理层广域网,城域网,局域网;IP地址由4个8位组成,每一个不能大于255,A类地址:1.0.0.0~126.25...
2018-03-12 19:39:35 310
原创 线程and正则表达式
import threading #导入threading模块import time #导入时间模块 time.sleep()控制间隔时长线程同步:当多个线程同时进行的时候.线程锁:lock = threading.Lock()#创建锁 cond = threading.Condition(lock=lock)#把锁赋给变量cond由于并发的原因,所以必须上锁:Condit...
2018-03-07 16:50:21 191
原创 xml
xml:xml文件开头:<?xml version='1.0' encoding='utf-8'?>以标签形式写:标签成对出现,有开头结尾(<top></top>),区分大小写xml文件只能又一个根节点,节点可以有属性DTD(Document Type Definition):约束xml文件的节点dom解析:from xml.dom.minidom import...
2018-03-03 13:33:05 90
原创 python第五课
类和对象类:具有相同属性和方法的对象集合;对象:全部都是对象;关系:类包含对象和方法方法里要写self:self代表当前对象 一个类可以生成多个对象传送参数的时候按照形参的顺序进行,__str__转成字符串输出get set 封装方法:一个set对应一个getdef __test():私有方法,只能在类里使用,__del__:自动销毁方法,当del一个对象的时候会
2018-02-02 21:19:56 127
原创 python第四课
split(',')以逗号拆分字符串成为数组eval()将元组,字典,列表类型的字符串转换为元组,字典,列表::::元组元素不能进行修改d={key1:123,key2:456}字典的增:d["键"]=值;删除:del d["键"];改:d["已存在的键"]=值;查:d.get("键"),d["键"]keys()返回所有键组成的列表;values()所有值组成的列表;items()是键
2018-02-02 19:56:06 125
原创 python第三课
三引号允许字符串换行,例如(print('''hello word end'''))mystr='asdqwezxc' mystr[1]截取单个字符 mystr[1:5]截取下标1-4的字符 mystr[:5]从下标0截到4(第一位不写表示从0开始截取,最后一位不写表示截取到末尾,都不写表示截取全部)mystr[-2:]从倒数第二位截取到末尾*如果第一个下标大于第二个下标则不输出
2018-01-31 22:20:22 134
原创 Python第二课
import random.randint(1,100)(生成100以内的随机整数)import random(range(1,23)(表示随机生成1-22之间的数不包含23))import random.sample(range(1,23),6)(表示随机生成1-22之间的随机6个数字,形成列表但不排序,不重复)import random.choice(range(1,23),6
2018-01-26 20:55:10 240
原创 python第一课
Python第一课 python属于强类型语言,变量不需要申明和关键字(所有变量都是引用)print()为换行输出,print(,end="")为不换行输出,变量储存的是地址,运行点RUN,input为输入语句(输入全为字符串)前加数据类型用于转换(用于交互),#单行注释 三个单引号为多行注释。 变量的标准数据类型:Numbers(数字类型){int(整形)floa
2018-01-24 22:31:26 144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人