- 博客(14)
- 资源 (81)
- 问答 (1)
- 收藏
- 关注
原创 【py vs oracle_utl_file】oracle直接后台导出csv的速度大概2万条记录,文件5M,用时16秒,但是1600万,文件4G,花了4小时
CREATE OR REPLACE PROCEDURE SQL_TO_CSV( P_QUERY IN VARCHAR2, -- PLSQL文 P_DIR IN VARCHAR2, -- 导出的文件放置目录 P_FILENAME IN VARCHAR2 -- CSV名 ) IS L_OUTPUT UTL_FILE.FILE_TYPE; L_THECURSOR INTEGER DE...
2018-10-30 11:33:42 619
原创 【py vs oracle_utl_file】hp340Q2上采用py连接oracle执行1600万数据的导出3G用时27分钟
./oraclelzsi.py 表名采用上篇py连接导出oracle表的脚本笔记本环境:hp340Q2虚拟机环境:vbox5.2.18该环境下导出采用watch -n 1 wc -l kc21.csv监控,大概每秒1万条导出 ...
2018-10-30 11:13:48 159
原创 py调用oracle的存储过程,注意procedure的out取值方式
#!/usr/bin/env pythonimport sysimport csvimport cx_Oracleimport codecsimport osos.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.ZHS16GBK'conn = cx_Oracle.connect("vivigsrp", "vivigsrp", "10....
2018-10-30 10:51:15 1238 2
原创 py文件增加encoding='utf-8',errors='ignore' 后仍然没解决UnicodeDecodeError: 'gbk' codec can't decode byte
感觉和oracle的输出字符集有关,gbk,gb18030都试了没解决,注意红色部分,修改后解决问题#!/usr/bin/env pythonimport sysimport csvimport cx_Oracleimport codecsimport os#os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.ZHS16GBK'o...
2018-10-30 10:44:21 6456 4
原创 python脚本直接导出oracle table到csv(./oracletest.py 表名)
#!/usr/bin/env python##saveas oracletest.py##chmod 755 oracletest.py##./oracletest.py ab01_import sysimport csvimport cx_Oracleimport codecsimport osos.environ['NLS_LANG'] = 'SIMPLIFIED CH...
2018-10-29 09:05:02 2144
原创 python连接oracle乱码(环境变量设置)
select userenv('language') from dual; 查看一下数据库字符集客户端export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"然后import sysimport csvimport cx_Oracleimport codecsimport osos.environ['NLS_LAN...
2018-10-26 11:31:11 778
原创 ubantu16下的Python 连接oracle安装、环境、测试
一安装oracle for pythonpip install cx_oracle二安装oracle client下载https://download.csdn.net/download/viviliving/10745136中的oracle-instantclient12.1-basic_12.1.0.2.0-2_amd64.deb或者官网下载oracle-instantcl...
2018-10-26 08:50:05 451
原创 python中polyfit 之poly1d与polyval的含义
# 拟合,自由度为3z1 = np.polyfit(x, y, 3)#3为多项式最高次幂,结果为多项式的各个系数#最高次幂3,得到4个系数,从高次到低次排列#最高次幂取几要视情况而定 # 生成多项式对象p1 = np.poly1d(z1)#将系数代入方程,得到函式p1print(z1)#多项式系数print(p1)#多项式方程 #计算多项式的函数值。返回在x处多...
2018-10-23 16:53:00 9886
原创 phthon数据可视化之matplotlib在window终端的可视化xmanger passive方式简单实现(网上没找到办法,自己折腾出来的互联网第一贴)
如图配置window的ip 然后securecrt远程export DISPLAY=10.0.3.2:0.0 xhost +测试代码python>>>import matplotlib.pyplot as pltimport numpy as npx=np.linspace(0,20) #linspace()函数指定横坐标范围plt.p...
2018-10-23 10:32:01 545
原创 mllib实践(三)之LinearRegression实践(libsvm方式)(整合互联网上多个实例)
package mllib;import org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.ml.linalg.Vectorsimport org.apache.spark.mllib.regression.{ LabeledPoint, LinearRegressionWithSGD }import ...
2018-10-22 10:52:58 834
原创 mllib实践(二)之LinearRegression实践(DataFrame方式,普通标签格式转DataFrame)(整合互联网上多个实例)
package mllib;import org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.ml.linalg.Vectorsimport org.apache.spark.mllib.regression.{ LabeledPoint, LinearRegressionWithSGD }import ...
2018-10-17 15:53:43 738
原创 mllib实践(一)之LinearRegressionWithSGD实践(整合互联网上多个实例)
package mllib;import org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.mllib.regression.{ LabeledPoint, LinearRegressionWithSGD }obj...
2018-10-16 17:41:42 1504
原创 大项目中使用tar好还是jar好?打包备份,打版等
环境:hp ux项目webapp大小:800M路径深度:超过1024长度 此处此文仅仅反应一个事实,估计是tar版本低,或者是32位,或者其他原因tar -cvf 打包文件解压发现文件缺失,经过解包发现路径深度超1024长度的文件均丢失后来使用 jar cvf发现完美,随后建议项目组均使用jar方式备份 ...
2018-10-16 17:18:54 413
原创 eclipse运行spark的scala程序console配置日志log4j输出级别
默认输出info级别,结果都淹没在info海洋里先看看自己的eclipse输出的第一行Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties然后再找找spark的import执行的jar包的spark-core所在位置(CTRL+T)我的在/home/hadoop/.m2/r...
2018-10-16 15:56:09 4800
win10内置flash修复文件system32下的
2020-09-18
django.rar
2020-09-01
coe_xfr_sql_profile.sql.zip
2020-09-01
Python_game-master.zip
2020-03-15
telnet.rar
2020-02-27
微信历史对话一个个删除.exe
2020-01-13
tuxedo81_win(1).exe
2019-11-28
pip-19.3.1.rar
2019-11-22
HTMLTestRunner.py
2019-11-19
windows下的dd
2019-10-14
diablo2oo2's Universal Patcher(DUP) v2.26.1 汉化版.rar
2019-07-31
py3.7.4通过jaydebeapi访问jdbc链接oceanbase的oracle模式
2024-09-13
Microsoft Visual C++ 14.0 or greater is required
2024-09-13
监控oceanbase的python小工具dooba
2024-04-02
mmap2mm mmap2mm mmap2mm
2023-01-05
echarts.zip修改增加ylabel的rotate属性
2021-12-21
ssq20210618.rar
2021-06-18
oecd_bli_2015 gdp_per_capita
2020-12-09
win10内置flash修复文件SysWOW64下的
2020-09-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人