- 博客(42)
- 资源 (1)
- 收藏
- 关注
原创 Python mini-web框架 支持动态解析02
本章讲解自定义web服务器实现静态资源,动态资源解析。1、解析流程上面实现的是静态资源的请求。WSGI简介:WSGI允许开发者选择web框架和web服务器分开,可以混合匹配web服务器和web框架,选择一个适合的配对。比如,可以在Unicorn或者Nginx和uWsgi或者waitress上运行django,Flask或Pyramid.真正的混合匹配,得益于WSGI同时支持服务其和架构。web服务器必须具备WSGI接口,所有的现代Python Web框架都已具备WS.
2022-01-23 11:39:10
2257
转载 Python mini-web框架框架开发01
本系列文章为本人学习网课的笔记,一切版权归原作所有。1、框架技术点2、多进程构建服务建立web_server.py文件:#!/usr/bin/env python# 多进程实现服务器演示import socketimport reimport multiprocessingdef service_client(new_socket): """为这个客户端返回数据""" # 1.接收浏览器发送过来的请求,即http请求 request = new...
2021-08-02 21:57:02
151
原创 支持python的分布式计算框架Ray
项目地址:https://github.com/ray-project/ray1、简介Ray为构建分布式应用程序提供了一个简单、通用的API。Ray过以下方式完成这项任务: 为构建和运行分布式应用程序提供简单的原语。 使最终用户能够并行化单个机器代码,而代码更改很少到零。 在核心Ray之上包含大量应用程序、库和工具,以支持复杂的应用程序。 2、安装3、单机下面是不使用分布式的代码示例:# test_ray.pyimport ray.
2021-07-27 21:23:53
1213
原创 大数据Hive ACID及类似产品
Hive3.0后默认建立的表为事务表,支持update, merge对数据进行更新处理。下面是示例,可以看到参数'transactional'='true'。0: jdbc:hive2://node3:2181,node4:2181,node2:2> show create table yah_test;+----------------------------------------------------+| createtab_stmt ..
2021-07-26 17:41:12
294
转载 Python+Zookeeper操作
本文主要讲解如何在Python使用Zookeeper进行简单开发。1、安装依赖kazoo是Python连接操作Zookeeper的客户端库,我们可以通过kazoo来使用Zookeeper.采用pip方式安装:pip install kazoo2、使用1)连接Zookeeperfrom kazoo.client import KazooClientzk = KzooClient(host="127.0.0.1:2181")# 启动连接zk.start()#停止连接
2021-07-25 10:54:05
883
原创 Parallel Python 并行计算(PP)
本文将介绍Python分布式并行编程模块Parallel python(简称PP),pp-1.6.4.4的使用。PP是一个python模块,提供在SMP(多处理器或多核)和集群(通过网络连接的计算机)上并行执行python代码的机制。PP模块克服了GIL(全局解释器锁)这个限制,并提供了一种写并行python应用程序的简单方法。内部ppsmp使用进程和IPC(进程间通信)来组织并行计算。后者的所有细节和复杂性完全被隐藏,应用程序只需负责提交作业并检索其结果(写并行应用程序的最简单的方法)。跨平...
2021-07-24 23:08:02
1543
转载 解析SQL的表间血缘关系工具
一、sqllineage SQL Lineage Analysis Tool powered by Python 源码地址:https://github.com/reata/sqllineage 安装:pip install sqllineage 使用:sqllineage -e "select * from tabA" sqllineage -f demo.sql二、在线工具https://sqlflow....
2021-02-20 17:00:08
6039
4
原创 Idea常用快捷键说明
表 1-1 代码编辑类常用快捷键 快捷键 作用 备注 Ctrl+shift+up (上移) Ctrl+shift+Down (下移) 移动选中的代码 Ctrl + D 复制选中的代码 Ctrl...
2020-09-12 12:44:33
228
原创 Java四种不同成员访问控制的作用域
Java四种不同成员访问控制的作用域: 作用域 当前类 同一package 子类 其他package public √ √ √ √ protected √ √ √ ✘ packa
2020-09-12 12:40:47
168
原创 Python分析Nginx每个独立IP访问次数
Python分析Nginx每个独立IP访问次数具体见代码:#!/usr/bin/env python# -*- coding:utf-8 -*-''' Python 进行单机日志分析示例 检查Nginx的日志文件,统计基于每个独立IP地址的点击率'''import reimport sysfrom pprint import pprintcontents = sys.argv[1]def nginx_i...
2020-09-12 12:37:55
261
原创 Python合并指定目录下的文件
Python合并指定目录下的文件 该脚本用于合并指定的目录下的文件。#!/usr/bin/env python#coding:utf-8'''export_gongyi.py'''__author__ = 'Gran'import osimport sysimport globdef merge_txt_file(dirs,outfile): if not os...
2020-09-12 12:35:32
325
原创 ClickHouse Linux环境安装部署
ClickHouse Linux环境安装部署1) Clickhouse安装包下载地址: https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/ 安装环境为Centos7版本。2) 选择的版本: clickhouse-server-20.3.9.70-2.noarch.rpm clickhouse-client-20.3.9.70-2.n...
2020-09-12 12:21:44
1323
原创 Linux文件替换操作
1)批量修改文件格式为unixfind . -name "*.hql" | xargs sed -i 's/\r$//g' #批量转dos to unix2)批量替换文件内容[root@tpmaster v3.0]# find *.json | xargs perl -pi -e 's|GYALLORCL|orcl188|g' 3)批量去掉空格:[root@dp-master doris_data]# find *.txt | xargs perl -pi -e 's|\s...
2020-06-24 09:23:20
842
原创 Ubuntu中MySQL数据库安装
Ubuntu中MySQL数据库安装先更新软件源:root@dc-Warehouse:~# apt-get update安装MYSQL:root@dc-Warehouse:~# apt-get install mysql-server mysql-client让apache支持mysql:root@dc-Warehouse:~# apt-get instal
2016-02-19 15:21:56
500
原创 sum(cast req_num as float) 用法
sum(cast req_num as float) 这个用法是不对的正确的是:select top 3 calling,sum(case when result=200 then 1 else 0 end)/convert(float,sum(req_num)) as req_num2 from WAP_BDR010317 group by callingcalling
2014-03-17 09:58:57
1797
原创 whereis的用法
[root@redhat mydata]# whereis stringsstrings: /usr/bin/strings /usr/include/strings.h /usr/share/man/man1/strings.1.gz /usr/share/man/man1p/strings.1p.gz
2013-11-20 15:36:24
1119
原创 basename的用法
含义:basename为shell,其作用为分离路径中的文件名。如下:[root@redhat myshell]# basename /mydata/shell/myshell/getopts.shgetopts.sh
2013-11-20 15:32:13
1351
原创 Linux脚本执行权限设置
chmod u+x filename 只有用户自己可执行,其它人不能执行 chmod ug+x filename 仅用户及同组人可执行,其它人不能执行 chmod a+x filename 所有人都可以执行
2013-11-20 15:17:57
1516
原创 getopts使用简介
getopts可以编写脚本,使控制多个命令行参数更加容易。getopts用于形成命令行处理标准形式。一般来讲,脚本应具有确认带有多个选项的命令文件标准格式的能力。getopts一般格式为:getopts option_string variablegetopts读取option_string,获知脚本中使用了有效选项,getopts查看所有以连字符“-”开头的参数,将其视为选项。有
2013-11-20 15:17:04
1281
原创 Linux输出所在目录
[dmp@JQ2db2 taobao]$ echo $PWD /zctt/dmp/total/qvshu/taobao[dmp@JQ2db2 taobao]$ echo $PWD |awk -F / '{print $NF}'taobao
2013-10-31 16:04:04
698
原创 关于mysql中数据引擎的选择
myisam 存储引擎 建议使用固定长度,数据列代替可变长度的数据列。 memory存储引擎 目前都使用固定数据行存储,因此无论使用char varchar列都没关系, innodb 存储引擎 建意使用varchar 类型
2013-09-17 10:23:54
589
原创 PHP连接Sybase IQ数据库
平台:Sybase IQ/15.4.0 Linux 5.5 - x86_64 PHP5.5.3目前网上关于PHP连接Sybase 数据库的资料很少,可能也是有些人不愿发文共享吧。这里我把自己的一些开发经验与大家共享。希望对大家有所帮助。首先要编译安装PHP支持Sybase,详细见我的博客http://blog.csdn.net/ajinnv/article/details/1159
2013-09-13 10:47:51
2051
原创 关于php中Warning: date(): It is not safe to rely on the system's timezone settings.解决
(平台 Linux系统)找到你的php.ini文件:及编译时参数--with-config-file-path=/usr/local/php5 (php.ini位置,根据你参数位置可能不同)[root@JK02 php5]# vi php.ini找到:[Date]; Defines the default timezone used by the date fun
2013-09-12 16:37:12
927
原创 PHP支持Sybase IQ数据库的配置
说明:Sybase IQ安装目录:/sybiq/asiq153/ ( 本人是在Sybase IQ 库上做的php开发,网上资料比较少,这是本人花了将近一个星期才解决的问题 ZCTT--ChenHuiCan)------------编译PHP,支持Sybase IQ-----------PHP版本:php-5.5.3.tar.gz./configure--wit
2013-09-12 12:21:54
1734
原创 16.集合运算
-----------------集合运算----------------------- 1、求差集A not exists select b.deptno from dept b where not exists (select a.deptno from emp a where a.deptno=b.deptno)B minus select b.dep
2013-08-21 11:18:35
782
原创 15.表的连接方式
等值连接(内连接)、左(外)连接、右(外)连接1、左(外)连接select a.dname,sum(b.sal) from dept a left outer join emp b on (b.deptno = a.deptno)group by a.dname=select a.dname,sum(b.sal) from dept a,emp b where
2013-08-21 11:17:54
831
原创 14.Oracle的操作符
---------------Oracle的操作符------------------------1、合并操作符select ename||' '||mgr||' '||sal from empsal是数字,隐式转换成字符串的2、消除重复的行select distinct deptno from empSQL> select deptno from emp
2013-08-21 11:16:26
826
原创 13.select语句
----------------select语句-------------------1、查行:select * from dept2、查列:select deptno from dept3、关联查询:select * from dept a,emp b where b.deptno = a.deptno叉积=笛卡尔积 select * from dept a,emp b
2013-08-21 11:15:42
1013
原创 12.关于表的主外键
-------------------SQL语句----------------------数据库的完整性1、实体完整性——主键2、参考完整性——外键,关联参考另外一个表的主键的3、用户定义的完整性(根据业务规则定义的)例如:字段“婚姻状况”:未婚、已婚、离异、丧偶 00 01 02 03if sex='
2013-08-21 11:14:51
949
原创 关于ORA_32004错误的解决
数据为10g:SQL> startupORA-32004: obsolete and/or deprecated parameter(s) specified --报错,已废弃的参数被启用ORACLE instance started.Total System Global Area 167772160 bytesFixed Size
2013-08-21 11:12:31
1166
原创 11.用户基本操作
------------------Oracle用户的基本操作----------------初始创建的时候有3个系统用户SYS --权限最大的系统用户,登录的时候必须用sysdba身份,SYSTEM --权限稍小的系统用户,不用sysdba登录,某些大级别的系统操作无法完成。SYSMAN ——管理oracle组件的1、创建用户SQL> conn
2013-08-20 13:07:44
744
原创 10.表和数据的基本操作
-----------------------表和数据的基本操作----------------------一、表和列的基本操作1、创建表SQL> conn scott/scottConnected.SQL> create table bttest(t1 varchar2(3),t2 date,t3 number,t4 char(7));Table
2013-08-20 10:49:29
831
原创 9.Oracle的关闭
二、Oracle的关闭过程1、关闭数据库2、卸载数据库3、关闭实例关闭的时候没有命令分阶段关闭。操作实务:1、shutdown normal --等用户退出2、shutdown immediate --将已经提交的数据写入磁盘,未提交的数据回滚。3、shutdown transactional --等事务结束4、shutdow
2013-08-20 10:48:50
671
原创 8.Oracle的启动
----------------------oracle的启动和关闭原理-------------------一、Oracle的启动过程SQL> startup------------------------------------ORACLE instance started. 第一个阶段——启动实例阶段Total System Global A
2013-08-20 10:48:14
750
原创 7.Oracle启动参数
----------------参数文件——————————————————SPFILE——二进制文件,不能编辑PFILE——文本文件,可以编辑固定的目录存放参数文件:[oracle@oracle253 dbs]$ pwd/u01/oracle/product/10.2.0/db_1/dbs[oracle@oracle253 dbs]$ ll总计 60-rw
2013-08-20 10:47:30
658
原创 6.Oracle小版本升级
案例:将数据库从10.2.0.1升级到10.2.0.410gR2 R=release 9iR2=9.2.0.1~9.2.0.810gR1=10.1.0.1~10.1.0.810gR2=10.2.0.1~10.2.0.81、将oracle相关的服务全部停止[oracle@oracle253 bin]$ isqlplusctl stop --停止isq
2013-08-20 10:46:57
924
原创 5.开机自动启动Oracle
-------------设置开机自动启动Oracle关机自动关闭Oracle-----------oracle用户下1、确认启动文件和关闭文件的存在[oracle@oracle253 bin]$ pwd/u01/oracle/product/10.2.0/db_1/bin[oracle@oracle253 bin]$ ll dbstart --启动文件,startup命令
2013-08-20 10:46:22
578
原创 4.Linux下安装JDK
----------------Linux下安装JDK---------------------第三方的开发管理工具PL/SQL Developer -----Linux——先安装JDK windows本身Linux自带的JDK或者其他的软件安装的时候自带JDK,可能版本比较低,所以安装高版本的JDK。[root@oracl
2013-08-20 10:45:47
716
原创 3.OEM和isqlplus工具
--------------OEM和isqlplus工具---------------==OEM是和数据库有关系,创建一个实例,就会有一套OEM,和数据库软件没有关系。==OEM——oracle企业管理器(对于数据库来说不是必须的),oracle自己开发的web模式的性能监控和管理的工具。=使用有局限性:1、必须配置web 2、如果监听器的属性发生了变化(端口
2013-08-20 10:45:05
758
原创 2.配置监听
------------------Oracle监听器配置----------------oracle本机访问——[oracle@oracle253 ~]$ sqlplus /nologSQL*Plus: Release 10.2.0.1.0 - Production on Wed Jul 10 16:18:27 2013Copyright (c) 1982
2013-08-19 17:33:28
622
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人