- 博客(28)
- 收藏
- 关注
RSS订阅原创 HIVE新添加字段后重新写入数据，内容为null的问题
在使用hive客户端进行sql查询时，若是对已存在分区添加字段，alter table xxxx add columns(aaaa string);并往该分区内重新写入数据，则新添加的aaaa字段内容为null（即使插入的该字段值不为null）因为虽然插入数据时HDFS上的数据更新了，但是通过hive客户端查询的仍然是旧元数据信息。要解决这个问题，先删除旧分区alter tab...
2020-04-03 15:35:27
2496
转载 python3字典键值类型转换(bytes,str)
字典键值由bytes转为str：注，在python2下执行，因python3下eval后仍为bytesdef convert(data): if isinstance(data, bytes): return eval(data) # data.decode('ascii') if isinstance(data, dict): return dict(map(con...
2019-02-20 14:54:09
6795
原创 调试机MySQL及phpmyadmin安装
环境：debian8.91.安装mysqlapt-get install mysql-server2.安装apache及phpapt-get install apache2 phpmyadmin3.网页登录php页面，创建数据库从源数据库导出结构。 1.登录源数据库phpmyadmin页面，进入数据库后，执行导出。 2.导出时选择自定义，全选，保存为文件，格式SQL，仅导出结...
2018-10-10 11:09:57
300
原创 算法学习-哈希表及哈希查找
基于树等的查找方法，都是通过一系列对比来查找的，查找效率由比较一次所缩小的查找范围决定。而理想的查找情况是直接根据关键码得到其对应的数据元素位置。原理： 将待存储元素经过某一函数特定转换为一个值，将这个值作为地址，将这个待存储元素存入这个地址中。 当要查找时，则将待查找的元素经过同一转换函数得到一个转换值，即地址，然后去这个地址获取数据，与待查找元素比较是否一致，一致则...
2018-09-30 14:35:06
516
原创 算法学习-动态查找
1.二叉排序树查找 将待查找数据表构造成一颗二叉排序树进行查找。 二叉排序树定义为：若子节点不为空，则子节点树上所有节点均小余该节点；若右节点不为空，则右子树所有节点均大于该节点。 查找过程： 通过中序查找法，即（LDR）方式，可从二叉排序树中得到递增的有序序列。 1.若查找树为空，则查找失败 2.若查找树非空，将给定值KEY与查找数的根节点关键码比较。 ...
2018-09-30 13:17:51
1638
原创 算法学习-静态查找
1.顺序查找。 从表的一端开始，向另一端逐个按给定的key进行比较，若找到，则查找成功，若整个表走完未找到，则查找失败。 性能分析： 时间：O(n)2.分块查找。顺序查找及折半查找的改进版。折半查找虽然具有很好的性能，但其前提条件时线性表顺序存储而且按照关键码排序，这一前提条件在结点树很大且表元素动态变化时是难以满足的。而顺序查找可以解决表元素动态变化的要求，但查...
2018-09-30 09:20:01
232
原创 数据结构学习-图（缺）
图状结构是一种比树形结构更复杂的非线性结构，在图状结构中，任意两个结点之间都可能相关，即结点之间的邻接关系可以是任意的。图是由非空的顶点集合和一个描述顶点之间关系――边的集合组成.无向图：顶点之间的连线是没有方向的，则称该图为无向图有向图：顶点之间的连线是有方向的，则称该图为有向图无向完全图：在一个无向图中，如果任意两顶点都有一条直接边相连接，则称该图为无向完全图有向完全图：在...
2018-09-28 13:57:52
330
原创 数据结构学习-二叉树
二叉树（Binary Tree）是个有限元素的集合，该集合或者为空、或者由一个称为根(root)的元素及两个不相交的、被分别称为左子树和右子树的二叉树组成。当集合为空时，称该二叉树为空二叉树。在二叉树中，一个元素也称作一个结点。二叉树是有序的，即若将其左、右子树颠倒，就成为另一棵不同的二叉树。满二叉树：所有分支结点都存在左子树和右子树，并且所有叶子结点都在同一层上完全二叉树：树从上至下...
2018-09-26 16:35:23
379
原创 数据结构学习-树
树结构是二叉树的扩展，二叉树在一个节点上只有两个子节点，而树结构在一个节点上不只有两个，可以有N个，N大于等于0，更具有一般意义。二叉树的概念同样适用于树，如完全数，满树等，此外还有有序树：结点的各子树从左到右是有次序的，即若交换各子树相对位置会构成不同的树。无序树：结点的各子树从左到右是无次序的，即若交换各子树相对位置部会构成不同的树。森林：零棵或有限棵不相交的树的集合称为森林。...
2018-09-26 16:35:08
211
原创 python学习-zip函数
zip打包函数，将给出的列表按照一个个元组方式组合，然后组合返回。zip输入的为可迭代对象，如果长度不同，则以最短的为主，长的省略>>> a = [1,2,3,4]>>> b = ['a', 'b', 'c']>>> c = ['2','3','4','5']>>> zip(a,b,c)[(1, 'a', '...
2018-09-09 21:36:33
289
原创 python学习-迭代器
关于迭代器的概念及讲解，在廖雪峰老师的网站上已经说的很详细了，这里只是整理下自己的学习笔记这里要区分下迭代器与可迭代对象迭代器的含义及范围： 迭代的中文意思是重复反馈过程的活动。它是一个动作，并重复执行相同动作返回结果，并将这个结果作为下次重复动作的输入。 在python中，具有多个相同类型元素的对象，均为可迭代对象，如字典dict，元组tuple，列表list，字符串str等...
2018-09-09 21:21:39
163
翻译 Django学习-默认支持的中间件
1.缓存中间件 路径： 1.django.middleware.cache.UpadateCacheMiddleware 2.django.middleware.cache.FetchFromCacheMiddleware 作用： 缓存站点范围内的内容，如果设置了这些缓存中间件，Django将会把这些缓存内容保存至CACHE...
2018-09-08 15:56:22
1260
翻译 Django学习-中间件
Django的中间件在用户请求传递到URLconf之前执行，并在视图返回之后再执行，可以认为是request和response处理的钩子。它是一个轻量级底层插件，可以设置全局更改Django业务的输入与输出。感觉更像是对用户访问的一些预处理及后处理操作。中间件一般包含5个方法：process_request() # 请求处理process_view() # 视图处理proces...
2018-09-08 00:25:43
240
翻译 Django学习-缓存机制
此章对应于Django2。原文：https://djangobook.com/djangos-cache-framework/在之前文章中提到了性能优化-缓存机制来实现，可以提高服务器性能，缩短响应时间。动态网站的问题在于它需要根据每次的请求，动态通过相应业务逻辑根据输入条件获取数据，并进行模版渲染返回浏览器生成最终网页，在这个过程中，响应的快慢对服务器端的性能提出了较高的要求。缓存的...
2018-09-06 00:24:02
364
翻译 Django学习-用户鉴权系统
Django自带了强大的后台管理应用，包括用户注册、登录及权限管理功能。对于用户鉴权，一般在服务器端做两件事情：1.验证用户是否是他说说的用户，且该用户是否合法。2.验证用户所拥有的权限。启用鉴权系统： 1.启用session。应为用户鉴权系统需要通过session来处理用户登录等。 2.在settings.py配置文件的INSTALLED_APPS属性中配置'...
2018-09-05 14:52:04
3770
翻译 Django学习-cookie和seesion
HTTP的设计是无状态设计，即在两次不同的请求间，没有设计相关状态保持，换句话说，你无法保证这次请求是上一轮哪一次请求的后续，这给鉴权、安全等带来了问题和麻烦，总不能每次请求都要求用户输入帐号密码吧。解决方法：一、cookies cookies是服务器发送给浏览器的一串数据（头部信息的Set-Cookie），浏览器在每次访问服务器时，都会回送这串数据给服务器（头部的cookie）...
2018-09-05 12:48:22
248
原创 Django学习-源码分析（1）django-admin.py/manage.py命令执行
Django源码分布：Django项目的创建是从django-admin.py startproject name开始的，那就从django-admin.py开始。#!/usr/bin/env pythonfrom django.core import managementif __name__ == "__main__": management.execute_fro...
2018-09-04 23:53:45
1248
原创 Django学习-腾讯云cvm邮件发送
使用腾讯云cvm服务器，ubuntu16.04.1 LTS；python3.5+django1.11更改settings.py设置，新增：EMAIL_HOST = 'smtp.126.com' # 我使用的126邮箱，根据你的邮件服务提供商确定EMAIL_PORT = 25 ## Django默认配置为25，126邮箱的默认端口也为25，根据邮件服务商确定 EMAIL_HOST...
2018-09-04 13:29:18
903
翻译 Django学习-表单
表单可用于用户提交数据，Django可通过对表单数据进行操作进行数据验证、有效性检查等其他处理。一、从request中获取form表单数据 request是Django传递给view视图函数的第一个参数，是一个HttpRequest对象，它包含了用户信息等数据。 1.URL的相关信息 属性： request.path：除域名以外的请求路径。如/admin/，以斜...
2018-09-03 09:16:27
297
翻译 Django学习-后台admin管理
后台管理可以通过可视化方式编辑网站内容，但是要自己实现一个后台管理功能，需要进行用户认证、界面显示及安全性等各方面考虑。Django提供了一套自带的后台管理功能，当然也可以使用第三方开发的后台app。Django的后台管理依赖于django.contrib包，这个包是Django基本代码的组成部分，它包括了用户鉴别系统（auth。需要创建超级用户）、会话、用户评注系统等。启用Django的...
2018-09-02 23:42:23
632
翻译 Django学习-随笔记录
django简介模版template，视图views，模型models再加路由urlsdjano安装django的runserver开发服务器提示。不进行任何安全认证，不要部署在正式运行环境。 MVT开发模式简述MVC开发模式： M：数据存取层 V：界面显示，包括显示内容及显示布局等。 C：根据用户输入决定如何处理及返回数据。Django的MVC：M：模型m...
2018-09-02 16:52:01
265
原创 从基本ubuntu系统搭建django并部署+性能优化
基于git搭建djang服务器：腾讯云 Ubuntu 16.04.4先sudo apt-get update sudo apt-get upgrade 确认已安装python3环境。~$ python3如果响应，则有python3确认已安装python3的pippip3若没有安装，则通过sudo apt-get install python3-pip安装gits...
2018-08-31 18:15:43
516
原创 AJAX整理
AJAX是Asynchronous JavaScript and XML，异步Javascript与XML。 注：XML目前可用JSON代替，（AJAJ），但是XML与JSON的特点不同，有不同的应用场景。 AJAX是一种使用现有标准的新方法。实现与服务器进行少量数据交互下，不重载整个网页，只刷新部分网页内容的技术方法。动态页面。 工作原理：浏览器根据事件创建一个Ht...
2018-08-31 18:10:25
172
原创 Django学习-搭建mysql环境
python版本：3.5.2ubuntu：16.04.41.pip install django 安装django，可通过==xx.xx.xx方式指定django版本2.pip install pymysql 安装pymysql，连接mysql3.pip install mysqlclient 安装mysqlclient，因需要load MySQLdb modul...
2018-08-17 17:34:11
258
原创 python学习-C3算法
C3算法是多重继承中，解决对资源的索引顺序。C3算法是python2.3开始使用的，解决python2.2以前版本的深度优先中重写无效问题以及python2.3版本中广度优先中的单调性问题。C3算法：L（class） = [class] + merge(L(base_1)+L(base_2)+...+L(base_n) + [base_1 + base_2 + ...+base_n])算法执行过程...
2018-06-28 14:14:57
1447
翻译 UBUNTU中使用pip安装，提示cannt import main问题
在pip==8.1.1版本中，使用pip install Django==1.8.16时，提示Traceback (most recent call last): File "/usr/bin/pip", line 9, in <module> from pip import mainImportError: cannot import name main修改/usr/bin/...
2018-04-26 21:54:06
13066
1
原创 使用sqlacodegen反向导出已存在数据库格式
环境windows7-64位+python2.7-32位，mysql数据库1.安装sqlacodegen： 命令行进入C:\Python27\Scripts 运行 pip install sqlacodegen2.安装完成后，运行sqlacodegen检查是否安装正确3.cd进入需要导出文件存放的文件夹内4.运行sqlacodegen mysql+pymysql://username:pass...
2018-04-13 10:33:04
600
原创 python_opencv-安装opencv
1.下载opencv，网址：https://opencv.org/ 根据自己爱好，选择相应版本进行下载，个人选择opencv3.4.1，不为别的，就因为它更好的支持了DNN模块。 下载下来后，应该是一个exe文件，运行后会生成一个opencv包。在..\opencv\build\python\2.7\目录下，根据自己的python版本选择对应的cv2.pyd文件。2.安装python虚...
2018-03-13 00:35:45
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人