- 博客(9)
- 收藏
- 关注
RSS订阅原创 sqoop 多进程增量抽数报错问题解决
增量抽数 会 共用 --target-dir /sqoop/conditiontest 这个文件。多进程的情况下 ，会出现找不到 文件 错误；单脚本测试 正常；晚上多进程抽数 就会报错。加上table_out 后 ，问题解决。
2022-11-15 10:37:58
190
原创 2021-08-10
保险股价趋势图分析 测试了一下，matplotlib.pyplot 的作图 ，折线图趋势如下： 中国平安下跌最快 ，反弹也是最猛的，看好新华保险，前期下跌幅度小，后期反弹凶猛，准备加仓 。具体代码如下：import pandas as pdimport numpy as np import matplotlib.pyplot as pltimport tushare as tsfrom datetime import datetime, timedelta#解决中文显示问题
2021-08-10 17:51:59
86
原创 count(distinct) 消耗资源过大的解决方案
count(distinct) 消耗资源过大的解决方案前几天接到个需求，有7个字段 计算 如下：selectstat_date,count(distinct case when datediff(aprv_date,conf_date) = 0 then uuid else null end) as ind_1from table_1其中 table_1 大概有 4000万的数据量 ，7个 count(distinct 差点把服务器跑崩溃，半个小时才跑完。以下是优化过程：1，.
2020-12-31 16:23:26
891
原创 sqlite学习—df数据框、sqlite之间的导入和导出
sqlite学习—df数据框、sqlite之间的导入和导出# sqlite 导入 导出 sql代码执行import tushare as tsimport pandas as pdimport numpy as npimport sqlite3# 准备工作：数据，路径，光标data=ts.get_h_data("601939") # 股票数据conn=sqlite3.co...
2018-11-27 17:34:03
1030
原创 CSV文件导入Python，遇到问题解决
#导入相应模块# -*- coding: utf-8 -*-import reimport os import pandas as pdimport numpy as npimport csv#定义一个空列表 data_list = []file_in = "/Desktop/touzhiren/"file_out = "/Desktop/tzrhz1126.csv"f...
2018-11-27 14:43:31
1511
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人