- 博客(29)
- 收藏
- 关注
RSS订阅
原创 crontab 踩过的坑
背景：crontab list 下面是定时执行的shell,shell里面是执行python文件1.路径用全路径3.连接数据库出错原因：crontab 的运行环境和当前用户登录进去的环境都是不同的，需要在运行 Python 脚本前重新设定一下运行的环境变量如 LD_LIBRARY_PATH source ./bashrccrontab 的日志（/var/log/cron）/var/log...
2018-11-27 14:19:38
609
原创 The kernel appears to have died. It will restart automatically
网上查了很多，大多是调用某第三方包时报错，这时更新这个包。但是我的情况不是前者，于是推测还是因为数据量太多，机器跑步下了。尽管我前几天都能跑，但现在内存31.5G,每次还剩3G左右的时候报错。减少数据量，果然就不会出现该报错。...
2021-07-29 17:36:44
312
原创 python环境报错，坏的解释器: 没有那个文件或目录
[xxxx@gs-server-7214 ~]$ /opt/anaconda3/bin/jupyter notebook-bash: /opt/anaconda3/bin/jupyter: /opt/anaconda3/bin/python: 坏的解释器: 没有那个文件或目录[xxxx@gs-server-7214 ~]$ /opt/anaconda3/bin/python3Python 3.6.10 |Anaconda, Inc.| (default, May 8 2020, 02:54:21)
2021-07-16 18:20:53
2003
原创 pycharm打不开某目录，卡住，缩略图白板
1小时前，还在pycham运行了某目录下的文件，后面打不开该目录，卡住，缩略图白板，打开其他目录是正常的，不知道什么原因：解决办法：删除了项目目录下，.idea/xxx.iml文件，不顶用，再删除modules.xml，workspace.xml，重新打开该项目，成功。...
2021-07-07 15:41:46
765
3
原创 spark job运行失败，但是yarn job status为success
原因：deploy-mode 为yarn-client,应该更改为yarn-cluster.参考链接：https://mail-archives.apache.org/mod_mbox/spark-user/201507.mbox/%3CCAApW+u3D4Vc25mArJ9qqvzK=qWZwYzCQhKvYskpbcnHz6w6R=A@mail.gmail.com%3Ehttps://weishungchung.com/2017/11/09/failed-spark-job-reports-on-
2021-06-23 20:23:42
648
3
原创 本地pycharm 连接远程环境，运行livy连接spark报错:HTTP ERROR: 401 Problem accessing /batches. Reason: Authentication
本地pycharm 连接远程环境，运行livy连接spark报错:HTTP ERROR: 401 Problem accessing /batches. Reason: Authentication required同样的环境和代码在服务器直接执行时，运行没有问题。但是通过本地pycharm连接服务器执行时，报错401。百思不得其解。还好大佬一顿操作猛如虎，在pycharm运行远程ssh命令行环境，发现默认是登录是root目录，非我自己的用户目录.[root@data-1 ~]# klistkli
2021-04-14 20:36:53
516
原创 fbprophet 报错：RuntimeError: Exception: normal_lpdf: Location parameter[1] is nan, but must be finite!
fbprophet fit报错：RuntimeError: Exception: normal_lpdf: Location parameter[1] is nan, but must be finite!同时predict报错：KeyError: ‘k’报错原因：数据集中有值等于cap，应该小于cap值
2021-02-02 11:53:53
458
原创 linux 个人home目录下安装fbprophet
新建虚拟环境 , 并指定python版本，conda create -n env_name python==3.6惨痛的经验证明一定要建虚拟环境，否则会有权限报错，无法操作根目录下/opt/anaconda3/.condatmp,或者报需要root 权限。即使在个人home目录下，安装anaconda,但是不建虚拟环境依然报错。在新建的虚拟环境下，执行 conda install -c conda-forge fbprophet，这条命名会自动安装需要的pystan等依赖。如果import fbpro.
2020-12-25 16:46:43
266
原创 pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at line..
pd.read_csv时报错：pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at line …我一般出现这种错误的原因是：将文件从服务器下载到网络，中途断网或者网络不好，重新下载文件后恢复正常...
2020-12-16 15:04:41
886
1
原创 SyntaxError: Non-UTF-8 code starting with ‘\x88‘ in file
刚开始以为是pycharm编码问题，file-setting-editor-file encodings 将下拉的地方都改为utf-8,无效；将代码中的中文注释删除，还是无效。无意中将代码复制到另一个py文件，不再报这个错误，猛觉文件名有文件，与python内部包multiprocessing重名了。为什么有一些错误自己先前明明知道，还是会犯呢？参考链接：IMPORT MUTIPROCESSING 报错...
2020-12-14 15:39:08
1323
原创 判断dataframe中某字段是否包含nan值
判断dataframe字段是否包含空值时，要用isnull(),不能用np.nan():df[df['col_name'].isnull()] --正确df[df['col_name']==np.nan] --错误np.nan == np.nan - 输出False
2020-11-08 11:45:19
3830
原创 gluonts(cpu)+window10+anaconda安装（二）
噩梦重演，在安装了gluonts的虚拟环境中安装matplotlib报错连连：AttributeError: module ‘dateutil.tz’ has no attribute ‘UTC’方案一：python -m pip install --upgrade python-dateutil方案二：pip uninstall python-dateutilpip install python-dateutilbut,but,第二次报同样错误时又不顶用了，在conda/pip uninsta
2020-10-21 15:54:49
396
原创 ipynb文件太大，页面无响应
在jupyter 中打开ipynb的文件，页面相应很慢，一直卡住，弹出提示：X个页面无响应，您可以等待页面恢复响应，也可以退出List item页面。原因:ipynb文件过大，我的有130多M了，因为output中打印中来的内容太多了。解决方案：1.kernel-restart kernel and clear all outputs2.手工删除，用notepad，sublime text等打开ipynb，删除输出大的text部分，只适用仅一两个output过大的情况vim 命令删除指定
2020-10-20 23:17:54
3609
原创 gluonts(cpu)+window10+anaconda安装（一）
先说下成功的经历：anaconda下新建虚拟环境：conda create -n gluonts python3.6.1gluonts依赖python3.6，而pandas依赖python>=3.6.1，（经测试python3.6.10也ok）激活虚拟环境：
2020-10-18 21:45:25
1030
原创 conda安装报错
conda 安装包，创建虚拟环境，都报错：“CondaHTTPError: HTTP 000 CONNECTION FAILED for url…“安装gluonts,使用anaconda创建一个新的环境，执行“conda create -n gluonts python=3.6”，结果出现了“CondaHTTPError: HTTP 000 CONNECTION FAILED for url https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
2020-10-16 14:34:55
370
原创 pandas.dataframe筛选含有空值的数据行
筛选非空的数据行：import pandas as pd#返回指定单列中没有空值的数据行df[pd.notnull(df[col])]df[df[col].notnull()]#指定多列 #返回指定多列/df全部列中满足任意一列没有空值的数据行df[df[[cols]].notnull().any(axis=1)] df[pd.notnull(df[[cols]]).any(axis=1)] #返回指定多列中/df全部列中满足所有列没有空值的数据行df[df[[cols]].notn.
2020-06-06 21:33:47
21099
2
原创 git-本地新建文件夹，创建本地分支，推送到远程仓库，新建远程分支
在要推送的本地文件夹中初始化git,成功后本地文件夹会生成.git文件夹git init在本地创建分支，比如localgit branch local //如果报错：fatal: Not a valid object name: 'master'. // 先在本地文件夹放入文件，然后输入下面命令git add .git commit -m 'init commit'// 检查是否创建成功git branch // 应该有master和local 分支切换本地分支gi.
2020-05-27 18:56:34
3119
原创 scipy.curve_fit报错：Improper input: N=11 must not exceed M=8
N是需要拟合的参数个数，M是样本个数，应该样本个数>参数个数。
2020-05-26 15:24:57
5501
2
原创 scipy.least_squares报错：Residuals are not finite in the initial point.
预测值中存在nan，在func中,y_pred= np.nan_to_num(y_pred)
2020-05-21 21:51:48
2807
转载 报错：Unable to allocate array with shape and data type
内存问题：Windows 10：Press the Windows keyType SystemPropertiesAdvancedClick Run as administratorClick SettingsSelect the Advanced tabSelect Change…Uncheck Automatically managing paging file size f...
2020-05-08 15:38:36
8339
转载 read_csv和read_table的区别
read_csv和read_table的区别在于separator分隔符。csv是逗号分隔值(Comma-Separated Values)，仅能正确读入以 “,” 分割的数据。read_table的分隔符是tab
2018-12-24 09:31:20
4714
1
转载 箱形图
五大因“数”我们一组序列数为例：12，15，17，19，20，23，25，28，30，33，34，35，36，37讲解这五大因“数”1、下四分位数Q1（1）确定四分位数的位置。Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的项数。（2）根据位置，计算相应的四分位数。例中：Q1所在的位置=（14+1）/4=3.75，Q1=0.25×第三项+0.75×第四项=0.2...
2018-12-06 12:00:18
641
转载 用到的vim命令笔记
1. 查找在normal模式下按下/即可进入查找模式，输入要查找的字符串并按下回车。 Vim会跳转到第一个匹配。按下n查找下一个，按下N查找上一个。在查找模式中加入\c表示大小写不敏感查找，\C表示大小写敏感查找。2.替换:s（substitute）命令用来查找和替换字符串。语法如下：:{作用范围}s/{目标}/{替换}/{替换标志}例如:%s/foo/bar/g会在全局范围(%)查...
2018-11-27 14:20:31
112
转载 python 报错：NameError: name ‘null’ is not defined
报错原因：Python不能处理null这样的字符串原文链接：https://blog.csdn.net/onlyanyz/article/details/45745045
2018-10-15 09:21:42
26881
转载 json.loads报错：Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
json 格式错误，查看文本是否符合json格式
2018-10-15 09:13:59
5436
转载 dql删除表：delete,drop,truncate 区别
1.drop：删除 内容、表结构用法：drop table 表名2.delete：删除内容，不删除表结构用法：delete table 表名 --删除整个表的数据,但是delete 语句每次删除一行，并在事务日志中为所删除的每行记录一项。所以可以对delete操作进行roll back或delete table tb where 条件不释放空间可以撤销3.trunca...
2018-10-12 11:17:24
301
转载 vim 报错：inconsistent use of tabs and spaces in indentation
报错原因：是混用了tab和4个空格造成的，检查代码，要不全部用tab，要不全部用4个空格，或者用idle编辑器校正解决方法：修改vimrc如无法修改vimrc,可对要修改的文件单独修改：举例：将第一行到文件尾的tab转换成space，每个tab用4个space替代。// 用space替代tab的输入:set expandtab// 如果没有给定4，则用当前的tab宽度设定替换...
2018-10-12 10:35:20
7280
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人