- 博客(29)
- 收藏
- 关注
RSS订阅原创 union
查询了三个结果，一起输出到表格上，使用函数union，还使用了字符串拼接|| || ，chr()换行输出--论文 KEYANLUNWENselect kk1.id_ as 编号,dbms_lob.substr(kk1.name_,4000,1)||' '||p2.name||' '||kk1.belong_subject_ as 内容from KEYANLUNWEN kk1...
2018-08-23 16:56:06
1361
原创 pip报错小插曲
源的问题解决办法例如：原本执行的命令是：pip install pymysql改为：pip install pymysql -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com结果会就成功：
2018-07-12 18:06:22
207
原创 kafka部署
kafka版本： kafka_2.11-1.1.0.tgz 去官网下载将kafka放在opt下然后解压tar -zxvf kafka_2.11-1.1.0.tgz解压好进入到kafka目录下:因为zookeeper.properties注释实在太多，所以我通过grep命令查找到kafka非注释的字符串，并把它追加到 zk.properties中:去修改配置文件：...
2018-05-30 09:46:23
219
原创 Flume部署
flume （日志收集系统） 编辑Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume版本： apache-flume-1.8.0-bin.tar.gz把解压包放在HADOOP 的opt/下解压 apach...
2018-05-27 15:13:14
1091
原创 createDataFrame
RDD本身是没有数据结构的需要函数进行分析（map ,flatmap......）SparkSQL建立在SHARK上SparkSQL的优势：数据兼容，性能优化，组件扩展SparkSQL的语句顺序：1解析（Parse）分析SQL语句的关键词（如：select,from,where）并判断SQL语句的合法性2绑定（Bind）3最优计划（Optimize）4计划执行（Execute）实现SPARKSQL...
2018-05-15 10:38:42
9949
原创 spark例子
MAP变换例子：用map 给英语成绩+1分给数学成绩-1分flatMap()（1）reduce()：并行汇总所有RDD元素reduce()参数是一个函数，这个函数有两个参数（首先会分区（默认分区数量与虚拟机的核心数有关，我的是2），然后每个分区得出结果最后汇总），两个参数分别是每次分区后两个分区的结果执行过程：分区：[(1,2),(3,4)]第一次结果：[3,7]最后结果：10尝试理解减法操作：分...
2018-05-13 16:34:37
270
原创 rdd连接变换
join--内连接结果：匹配rdd1里还有rdd2里面共同的键，然后去输出leftOuterJoin -- 左连接结果：以左边为主去匹配右边的有就显示，没有就是NonerightOuterJoin -- 右连接结果：以右边为主，去匹配左边的cogroup--全连接输出结果是一个迭代器所以我们要去循环它：结果：所有的全部统计：subtractByKey -- 减连接结果：把RDD1里面和RDD2 键...
2018-05-11 19:42:29
427
原创 spark 统计，排序
在xshell里面创建一个文件，并且上传（a,b,c,d）代表的是玩家，（r1,r2,r3）代表的是区，数字代表花的钱数上传文件，（文件的名字叫wagzhe）打开文件，转成RDD模式，然后输出一下看看是否正确输出结果：统计一下每个区转了多少钱（每个人花了多少钱和这个例子一样就是把玩家作为键 把钱数作为值）先用map(lambda x:x.split(","))给它拆分开，拆分后的样式就是[(a,r...
2018-05-11 16:53:52
1458
原创 scala
首先进入scalaspark-shell进入完成会出现我们用scala去分析一个文件打开文件最后一行是文件内容，发现和我们的文件是一致的OK接下来我们给文件进行拆分以空格去拆分拆分完成了发现变成了三个元组，我们用flatMap把他打散接下来我们按键给它分组用groupByKey()它做了一个分组，统计，出现一次的是一个1 出现几次后面是几个1注意它这里的 =>相当于python里的：，<...
2018-05-06 16:53:56
272
原创 spark
用mapreduce分析数据要有一个文件。如果没有就自己创建一个然后上传我的文件叫testdata查看hadoop目录打开hadoop-2.7.6并查看打开share查看打开hadoop查看打开mapreduce查看用下面的命令去分析并且给分析结果创建目录创建成功后查看一下分析结果...
2018-05-05 09:51:55
145
6原创 jeasyui实现树和表格
1创建一个HTML网页，在jeasyui里找到树2在HTML里写入网页：3写好之后就要在树里面找代码看看需要哪一种：我们选择这种的，看到会需要一个json文件，然后我们找json文件，会发现json文件都是以字典的形式写入的那么我们可以自己尝试着试一下，在后台自己写一个树：def queryTree(request): jsondata=[ { 'i...
2018-04-18 08:48:26
225
原创 django blog注册
创建HTML页面：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>注册</title> <script type="text/javascript" src=&
2018-04-13 17:30:42
98
原创 django-注册
urls.py:路径跳转settings.py:项目设置，中间件，APP，数据，根路径，静态文件，制定启动wsgiwsgi.py:入口MVCmodel:模型，实体类，数据库连接view:视图control:控制层python 不是MVC是MVTviews:定义函数并且跳转models:实体类templates:放静态页面 图片等python.exe dk 标准开发工具pycharm ide 集成开...
2018-03-29 09:24:15
158
原创 pymysql
pymysql和数据库建立连接创建一个表：导入模块import pymysql建立连接coon=pymysql.connet("127.0.0.1","root(用户名)","19930309ss(密码)","shcool(数据库名字)")得到curcor对象mycursor=coon.cursor()执行sql语句sqlstr=" create table text( id int primar...
2018-03-26 17:53:42
384
原创 索引和备份
索引：汉语字典中的汉字按页存放，一般都有汉语拼音目录（索引）、偏旁部首目录等我们可以根据拼音或偏旁部首，快速查找某个字词索引是一种有效组合数据的方式，为快速查找到指定记录作用大大提高数据库的检索速度改善数据库性能MySQL索引按存储类型分类B-树索引：InnoDB、MyISAM均支持哈希索引常用的索引类型：普通索引：基本索引的类型允许在定义的索引列中插入重复的值和空值唯一索引：索引数据不重复允许有...
2018-03-24 11:03:43
400
原创 maysql查询 事物
EXISTS子查询：SELECT 字段 FROM 表名 WHERE EXISTS(子查询);子查询有返回结果：EXISTS查询结果为TRUE子查询无返回结果：EXISTS查询结果为FALSE，外层查询不执行GROUP BY分组：SELECT......FROM 表名WHERE.....GROUP BY 字段 WHERE子句用来筛选 FROM 子句中指定的操作所产生的行 GROUP BY子句用来...
2018-03-22 00:16:42
487
原创 mysql查询
查询：查询所有的行和列SELECT * FROM 表明；查询部分行和列：SELECT 字段1，字段2····FROM 表名；可以加 WHERE 条件 使用 AS命名列：例子：SELECT studentName AS '姓名'，sex AS '性别' FROM 表名；查询排序条件：ORDER BY 字段 ； DESC 倒序 默认是正序 ASC也是正序常用函数：AVG()返回平均值COUNT...
2018-03-20 10:46:44
128
原创 MySQL
添加主键;ALTER TABLE 表名 ADD CONSTRAINT 主键名(自己创建) PRIMARY KEY 表名（主键字段）；主键可以是组合主键在主键字段里写入多个字段就是组合主键添加外键：ALTER TABLE 表名 ADD CONSTRAINT 外键名(自己创建) FOREIGN KEY 表名（外键字段）REFERENCES 关联表名（关联字段）；如果一个主键有多个外键，添加外键时自己起...
2018-03-17 10:00:39
230
原创 mysql
#DB:databes 数据库#DBS:databes system 数据库系统#DBMS: databes manager system 数据库管理系统#show databases: 查看数据库列表#use +（数据库名字）；选择数据库#show tables;看数据库里的表#select * from（表的名字);查看表里的内容#SQL:结构化查询语言#CREATE DA...
2018-03-15 10:08:25
118
原创 网络编程
网络编程：实现计算机与计算机间的通信通过网络编程我们要了解什么问题？通信协议：网络根据地域面积分为三类：局域网，城域网（十多公里）广域网（www）IP地址由4个8位组成，每个数字不能大于255分为五类：A:1.0.0.0~~126.255.255.255（127.0.0.1是本地回环地址）B:128.0.0.0~~191.255.255.255C192.0.0.0~~233.255.255.255...
2018-03-12 15:11:46
111
原创 线程和正则
#线程的五种状态 创建， 就绪， 运行，阻塞，死亡'''import _threadimport time#为线程定义一个函数def a1(name,num): m=0 while m<20: time.sleep(num) m+=1 print(name,m)try: _thread.start_new_t...
2018-03-08 10:54:45
126
原创 xml解析
dom树解析from xml.dom.minidom import parse #导入模块class Book(object): #创建一个book类 def __init__(self,name,jiage,zuozhe): self.name=name self.jiage=jiage self.zuozhe=zuozhe ...
2018-03-07 15:52:26
122
原创 文件
#文件#文件读取#txt=open("001.txt","r+")# 创建文件 r代表读取#print("文件名为：",txt.name)#输出一下文件名字#print(txt.read(-1))#如果括号里是负数 或者为空那就读取文件全部 如果设置数字就是多少字节#txt.truncate(10)#截取10个字符#print(txt.read())#print(txt.read...
2018-02-28 21:40:17
134
原创 迭代器生成器
#生成器 1 yield 2(推导) 得到一个生成器对象 必须得遍历或者用next调用def a1(): for i in range(10): print("--------") yield i #得到一个生成器对象 print(i) print("********")s=a1()print(s)#打印S得到...
2018-02-26 16:52:59
85
原创 类属性 类方法
#类属性 属于类的属性 在对象外面开辟空间所有对象共享class text(): uname="张松" def __init__(self,name): self.uname=name #对象属性 #text.uname=name #类属性d=text("abc")text.uname=("aaa")t=text("ccc")prin...
2018-02-26 16:50:09
304
原创 面向对象
#类：具有相同属性和方法的对象的集合#对象:万物皆对象#语法：'''class 类名：属性方法定义一个 一个类 '''#例子class studen: def __init__(self,name,age,num):#定义属性 self.name=name self.age=age self.num=num def
2018-02-02 17:55:44
94
原创 转换和随机数
import randoms=random.choices(range(1,34),k=6,weights=range(1,34))#随机生成6个 1到33之间的数会重复print(s)l=random.choice(range(1,34))#s随机生成1到33之间的一个数可能会重复print(l)r=random.sample(range(1,34),6)#随机生成6个数 不会重复#
2018-02-01 10:19:07
260
原创 列表的增删改查（insert ,delete,update,query）
增加list=["asd","admin","ss12","2001"]list1=["阿狸","盖伦","提莫"]list.insert(4,1993)print(list)list.insert(0,2005)print(list)#insert 列表的增加 前面是下表后面是对象list.append("19as")print(list)#append 在列表后面增加list
2018-02-01 10:15:00
757
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人