- 博客(20)
- 收藏
- 关注
RSS订阅原创 hive分区-连接spark
有分区可以变快，便于查找。1.创建表分区、分桶CREATE TABLE par_table(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User')#注释 COMMENT 'This is the page view t...
2018-05-22 11:43:39
558
原创 spark
取值操作（RDD）：take(n):返回n个元素top(n):返回最大的n个元素first():返回第一个元素collect():返回所有元素元素变换（RDD）：1、map()map()函数需要一个参数，参数是一个函数，通过这个函数变换之后，返回一个新的RDD，函数一般用lambda2、flatMap()对RDD每一个元素执行函数变换，返回一个迭代器，最后展平结果3、filter()通过函数对元素...
2018-05-10 09:55:54
132
原创 Django_文件上传,富文本
创建html文件上传页面<form><inout type='file' ></form>表单的文件上传，设置文件提交按钮,后图为页面样式如果表单里有文件提交，必须要有enctype,表单里记得写csrf_token编辑表单提交路径，和提交方法创建upload方法，获取当前时间和文件名，打开该文件，循环遍历已获得文件，写入到打开的文件中，写入文件要.chunks...
2018-04-04 20:10:16
284
原创 登录权限跳转
session:会话，储存在服务器，只要登录成功，会一直存在，有存在的时长，时长过后自动退出登录，默认时长为两周，只能储存字典类型的数据，使用session要导入request.sessioncookie:(以键值队储存)将输入的账号密码以文件的形式储存起来，储存在客户端session和cookie的区别： session赋值：request.session['键名']=值session取值: r...
2018-04-02 22:32:29
1553
原创 Django_登录
python manger.py makemigrations相当于 在该app下建立 migrations目录，并记录下你所有的关于modes.py的改动，比如0001_initial.py在此之后执行命令python manager.py migrate将该改动作用到数据库文件，比如产生table之类所有类都要继承models.Model404:找不到页面403：token:跳转方式：Http...
2018-03-30 20:21:52
123
原创 Django-注册
创建文件步骤：file-newpraject-django 选择文件存储位置：Location：自选路径(python5_blog)APPname:自取名称(blog) 勾选ENABLE DJANGO admin，如果不勾选，则没有Blog文件夹创建成功后文件右一下文件：urls.py：路径跳转文件 settings.py：项目设置，中间件，数据库，根路径，静态文件，指定启动ws...
2018-03-28 19:29:12
144
原创 pymysql
先导入 PyMysql 模块 创建语句 最后关闭数据库 .close()链接数据库语句：变量名1=pymysql.connect('计算机地址','用户名','密码','数据库名')创建指针变量：变量名=变量名1.cursor();数据库查询：变量名.execute('查询语句') 指针变量.fetchone()获取一挑记录import pymysql def getconn(): ...
2018-03-26 19:17:21
560
原创 mysql_索引
索引数据量较小，查询比较快，改善数据库性能；索引分类按存储类型：B-树索引，哈希索引，索引类型：普通索引：基本索引类型，允许在定义索引的列中插入重复值和空值；create index 表名(字段名)唯一索引：索引列数据不重复，允许有空值。create UNIQUE index 索引名 on 表名（字段名）；主键索引：主键列中的每个值是非空，唯一的，一个主键将自动创建主键索引；复合索引：将多个列组合...
2018-03-23 18:21:26
83
原创 mysql_事务
if exists:判断是否，正确返回true，运行if前的语句，错误返回false,不运行if前的语句,select …… from 表名 where exists(子查询);n子查询有返回结果：EXISTS子查询结果为TRUEn子查询无返回结果：EXISTS子查询结果为FALSE,外层查询不执行select * from 表名 inner join 表名1 on 表名.字段名=表名1.字段名；...
2018-03-21 20:32:24
106
原创 mysql
#学生表CREATE TABLE student( studentNo INT(4) NOT NULL PRIMARY KEY COMMENT '学号', loginPwd VARCHAR(20) NOT NULL COMMENT'密码', studentName VARCHAR(20) NOT NULL COMMENT'姓名', sex CHAR(2) NOT NULL DEFAULT'男' C...
2018-03-19 21:18:52
188
原创 mysql第二章
创建外键：ALTER TABLE 表名 ADD CONSTRAINT 外键名 FOREIGN KEY（外键字段）REFERENCES 关联表名（关联字段）#创建外键 学生表和年级表ALTER TABLE student #修改表 加外键ADD CONSTRAINT fk_gradeId FOREIGN KEY(gradeid)#添加约束 约束的名字 字段REFERENCES grade...
2018-03-17 10:36:08
292
原创 mysql初章
*socket:套接字*server(服务器):给出IP地址，和端口号,accept等待客户机访问一个服务器可以拥有多个客户端oracle,mysql,sqlserver,db2:关系型数据库数据库的作用： 存储大量数据，方便检索和访问 保持数据信息的一致和完整 共享安全 通过组合分析，产生新的有用信息DB:database 数据库DBS:database system ...
2018-03-14 22:10:55
111
原创 python soket
网络编程：实现计算机与计算机之间的通信tcp:可靠，有状态的，长连接的协议udp:不可靠，发送的包要有顺序编号http:基于tcp的协议，无状态的协议ftp:文件传输协议pop3：邮局协议, smtp: 简单邮件传输协议网络7层协议：应用层（表示层，会话层）传输层，网络层，数据链路层，物理层广域网，城域网，局域网；IP地址由4个8位组成，每一个不能大于255，A类地址：1.0.0.0~126.25...
2018-03-12 19:39:35
307
原创 线程and正则表达式
import threading #导入threading模块import time #导入时间模块 time.sleep()控制间隔时长线程同步：当多个线程同时进行的时候.线程锁：lock = threading.Lock()#创建锁 cond = threading.Condition(lock=lock)#把锁赋给变量cond由于并发的原因，所以必须上锁：Condit...
2018-03-07 16:50:21
183
原创 xml
xml:xml文件开头：<?xml version='1.0' encoding='utf-8'?>以标签形式写：标签成对出现，有开头结尾(<top></top>),区分大小写xml文件只能又一个根节点，节点可以有属性DTD(Document Type Definition):约束xml文件的节点dom解析：from xml.dom.minidom import...
2018-03-03 13:33:05
79
原创 python第五课
类和对象 类：具有相同属性和方法的对象集合；对象：全部都是对象；关系：类包含对象和方法 方法里要写self：self代表当前对象 一个类可以生成多个对象 传送参数的时候按照形参的顺序进行， __str__转成字符串输出 get set 封装方法：一个set对应一个get def __test():私有方法，只能在类里使用, __del__:自动销毁方法，当del一个对象的时候会
2018-02-02 21:19:56
115
原创 python第四课
split(',')以逗号拆分字符串成为数组 eval()将元组，字典，列表类型的字符串转换为元组，字典，列表::::元组元素不能进行修改 d={key1:123,key2:456}字典的增：d["键"]=值；删除：del d["键"];改:d["已存在的键"]=值；查：d.get("键")，d["键"] keys()返回所有键组成的列表；values()所有值组成的列表；items()是键
2018-02-02 19:56:06
119
原创 python第三课
三引号允许字符串换行，例如（print('''hello word end''')） mystr='asdqwezxc' mystr[1]截取单个字符 mystr[1:5]截取下标1-4的字符 mystr[:5]从下标0截到4(第一位不写表示从0开始截取，最后一位不写表示截取到末尾，都不写表示截取全部)mystr[-2:]从倒数第二位截取到末尾*如果第一个下标大于第二个下标则不输出
2018-01-31 22:20:22
116
原创 Python第二课
import random.randint(1,100)(生成100以内的随机整数) import random(range(1，23)（表示随机生成1-22之间的数不包含23）) import random.sample(range(1,23),6)(表示随机生成1-22之间的随机6个数字，形成列表但不排序,不重复) import random.choice(range(1,23),6
2018-01-26 20:55:10
222
原创 python第一课
Python第一课 python属于强类型语言，变量不需要申明和关键字（所有变量都是引用）print（）为换行输出，print（，end="")为不换行输出，变量储存的是地址，运行点RUN，input为输入语句（输入全为字符串）前加数据类型用于转换(用于交互），#单行注释 三个单引号为多行注释。 变量的标准数据类型:Numbers(数字类型){int(整形)floa
2018-01-24 22:31:26
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人